一张柯南的图片,我什么标签的都不加,那就相当于告诉 AI 这张图片就是柯南,以后我们加载 LoRA 的时候就把这张图的所有元素都加载进去了,很显然这样不行,如果图片中还有文字或者logo,就会导致我们出图的时候也可能带上这些元素
所以我们需要把 logo 这个标签加上,告诉 AI 这个图片里有 logo 元素,这样下次我没添加 logo 这个 tag, AI 就不会加载 logo 元素了
再进一步,如果我想给柯南换衣服,那我们就需要添加类似“小西装”这样的 tag,把西装这个概念从柯南这个整体概念中分离出来 ,这样我们就能控制柯南的衣服了(对应上面保留里的第三点),当然得注意,训练集中需要有角色不同衣服的图片,这样才能起到训练效果
举个反例来说明一下,打标工具识别柯南的时候有“领结”这个标签,我们手动删除这个特征(不希望模型自行去学习这个特征,而是完整保留原图里的领结这个特征,也就是“领结”属于柯南这个整体概念里的),我们在删除这个特征后,但是又在 prompt 里加上领结描述,希望还原这个领结,但是 AI 的理解中会有 n 中领结,怎么和柯南的领结对上呢?柯南的领结是 AI 认知领结中的一部分,所以最后输出的领结不一定一样(对应上面删除中的第二点)
如果我们要训练一个孙悟空图片,这个孙悟空戴不戴紧箍,我们要能够自由控制,那么就需要保留这个 tag,同时我们的训练集里要有不戴紧箍的图片,这样才能区分出戴或不戴,才能控制这个特征