Sign In

人物一致性loar训练思路和方法总结

May 12, 2024
tool guide
人物一致性loar训练思路和方法总结

人物一致性Lora目标定义

人物面部特征一致性

人物身体特征一致性

人物动作及服装一致性

人物动作神态一致性

1 方法一

通过控制提示词输出来控制生成图像的一致性

方法来源:

Consistent character using only prompts - works across checkpoints and LORAs : r/StableDiffusion (reddit.com)

评价:该方法能够在模型内部所训练的数据集当中人物的明星等知名人物的脸部特征以及动作进行复现,对于不存在于模型内部的人物,需要对于现实当中的人物进行图像生成存在问题,难以通过不同人物的脸部特征权重复合实现脸部特征的再现

方法二 炼制脸部模型和身体动作模型进行组合

关键在于数据集,数据集的处理,一般而言我们能够通过方法三来获得其他方向的数据集,需要花费较多的时间。(准备时间较长,最终实践效果较好,能够实现较好真实感效果)

同时如果需要对于调整部分进行分别的lora训练

正对于需要可调整部分较多的虚拟IP形象,需要确保各个lora之间的不会互相影响,导致概念之间的泄露和影响。

方法三 instant等方式对于人物脸部的特征提取保证人物脸部特征一致性

评价:真实效果受到插件效果的影响,最终生成效果和模型直接进行生成图像的效果较差

各项评价

花费时间 方法二>方法一>方法三

生成效果 方法二=方法一>方法三

可调整 方法二>方法三>方法一

这些还不是最全的方法汇总后续慢慢更新吧

存在有问题的地方欢迎大家交流指正

1

Comments