If you find our articles informative, please follow me to receive updates. It would be even better if you could also follow our ko-fi, where there are many more articles and tutorials that I believe would be very beneficial for you!
如果你觉得我们的文章有料,请关注我获得更新通知,
如果能同时关注我们的 ko-fi 就更好了,
那里有多得多的文章和教程! 相信能使您获益良多.
For collaboration and article reprint inquiries, please send an email to [email protected]
合作和文章转载 请发送邮件至 [email protected]
by: ash0080
序言
我一直很犹豫要不要写LoRa Training系列,主要原因是我在刚开始学习的时候阅读了大量的相关文章,老实说体验非常糟糕,大多数文章或视频中充斥着大量的错误与经验主义(但这种经验往往只适用于某些特定的类型),甚至是胡说八道。但换个角度,这也说明也许LoRa训练本来就难以描述,而且工具和算法都在不停迭代,说不定今天还是正确的参数,明天就不再适用。但不管怎样,这些体验让我对LoRa训练是否能通过教程来传授这件事本身产生了怀疑,这就是我一直没有动笔写的原因。
不过,AIGARLIC作为C站排名第一的写作团队怎么可能不去触碰LoRa Training题材呢,因此即将有一位专业模型训练师加入我们,她是全球TOP50的某互联网公司的专职模型训练师,她将带给我们商业应用级别的模型训练,高细粒度的分析,调优的完整专业课程,目前这个系列已经在我们的ko-fi上更新中,欢迎关注我们的ko-fi.
关于如何组织训练集的文章已经很多了,但在Hazel的文章中,她分享了一种构建科学打标体系的方法,并且在这种高度理性的方法下,探讨了图片数量的平衡问题,专业而具有启发性!
那么我作为一个AIGC的小学生,也打算厚着脸皮给大家分享一个完全不同角度的LoRa训练系列教程,如果说以往的教程像课堂授课,这个系列更像你的实验室操作指南,我不打算做太多的总结或告诉大家某些确定的结论,我只给大家分享一下我是怎样做实验的,希望这会是一种有意义的尝试。
————————————————————————————
basic_shape_grey
训练集三个灰度形状,白底, tag只有一个 myshape
batch生成, 仅trigger word,
可观察到的几个事实:
灰色被学习了
圆形被学习了
白色背景没有被学习
base_shape
这次训练集换成三个三原色几何体,那图片具有三个元素,形状,边线,颜色
相比前面,最大的区别就是出现了色彩
base_monster
使用相同的训练集,只是关键词换成了原生词, monster
很难看出什么,可能训练强度相比于自定义词,对原生词的扭曲就显得不足够
但确实可以看见圆形,方形,以及三角形(构图)的存在
base_monster_colored
这次tags在monster基础上增加了颜色, red/green/blue monster
仅使用monster 关键词时,几乎与前一个模型没有什么区别,但是,
red monster
green monster
blue monster
有意思的事情发生了,使用更具体的tags时,绘制内容发生了非常大的改变,
尤其是绿色正方形,绘制出的内容偏差非常明显,我们又可以发现SD是理解透视的,方形和三角形,在SD的理解里有可能只是同样的透视关系。
base_blur
我们再来试一试blur, 唯一tag, monster
与base_monster相比, 人物的边缘并没有变模糊,而是出现了大气和景深效果,我想这可能会让大家大吃一惊。
那么blur在增加内容气氛时,会变得相当有用
base_grid
唯一tag: grid layout
其实仔细看LoRa不仅画了2x2,3x3,4x4 grid,甚至还出现了5x5和6x6, 很有意思的一个实验
但无论如何,在非过拟合的情况下,学习的特征大概率不会以我们想象的那种方式被学习,而是融入既有的特征中。