santa hat
deerdeer nosedeer glow
Sign In


If you find our articles informative, please follow me to receive updates. It would be even better if you could also follow our ko-fi, where there are many more articles and tutorials that I believe would be very beneficial for you!

如果你觉得我们的文章有料,请关注我获得更新通知,

如果能同时关注我们的 ko-fi 就更好了,

那里有多得多的文章和教程! 相信能使您获益良多.


For collaboration and article reprint inquiries, please send an email to [email protected]
合作和文章转载 请发送邮件至 [email protected]


by: ash0080

序言

我一直很犹豫要不要写LoRa Training系列,主要原因是我在刚开始学习的时候阅读了大量的相关文章,老实说体验非常糟糕,大多数文章或视频中充斥着大量的错误与经验主义(但这种经验往往只适用于某些特定的类型),甚至是胡说八道。但换个角度,这也说明也许LoRa训练本来就难以描述,而且工具和算法都在不停迭代,说不定今天还是正确的参数,明天就不再适用。但不管怎样,这些体验让我对LoRa训练是否能通过教程来传授这件事本身产生了怀疑,这就是我一直没有动笔写的原因。

不过,AIGARLIC作为C站排名第一的写作团队怎么可能不去触碰LoRa Training题材呢,因此即将有一位专业模型训练师加入我们,她是全球TOP50的某互联网公司的专职模型训练师,她将带给我们商业应用级别的模型训练,高细粒度的分析,调优的完整专业课程,目前这个系列已经在我们的ko-fi上更新中,欢迎关注我们的ko-fi.



关于如何组织训练集的文章已经很多了,但在Hazel的文章中,她分享了一种构建科学打标体系的方法,并且在这种高度理性的方法下,探讨了图片数量的平衡问题,专业而具有启发性!


那么我作为一个AIGC的小学生,也打算厚着脸皮给大家分享一个完全不同角度的LoRa训练系列教程,如果说以往的教程像课堂授课,这个系列更像你的实验室操作指南,我不打算做太多的总结或告诉大家某些确定的结论,我只给大家分享一下我是怎样做实验的,希望这会是一种有意义的尝试。


————————————————————————————


basic_shape_grey 

训练集三个灰度形状,白底, tag只有一个 myshape


batch生成, 仅trigger word,  

可观察到的几个事实:

  1. 灰色被学习了

  2. 圆形被学习了

  3. 白色背景没有被学习

base_shape

这次训练集换成三个三原色几何体,那图片具有三个元素,形状,边线,颜色


相比前面,最大的区别就是出现了色彩

base_monster 

使用相同的训练集,只是关键词换成了原生词, monster


很难看出什么,可能训练强度相比于自定义词,对原生词的扭曲就显得不足够

但确实可以看见圆形,方形,以及三角形(构图)的存在

base_monster_colored

这次tags在monster基础上增加了颜色, red/green/blue monster


仅使用monster 关键词时,几乎与前一个模型没有什么区别,但是,

red monster

green monster

blue monster

有意思的事情发生了,使用更具体的tags时,绘制内容发生了非常大的改变,

尤其是绿色正方形,绘制出的内容偏差非常明显,我们又可以发现SD是理解透视的,方形和三角形,在SD的理解里有可能只是同样的透视关系。

base_blur  

我们再来试一试blur,  唯一tag, monster

与base_monster相比, 人物的边缘并没有变模糊,而是出现了大气和景深效果,我想这可能会让大家大吃一惊。

那么blur在增加内容气氛时,会变得相当有用

base_grid

唯一tag:  grid layout

其实仔细看LoRa不仅画了2x2,3x3,4x4 grid,甚至还出现了5x5和6x6, 很有意思的一个实验

但无论如何,在非过拟合的情况下,学习的特征大概率不会以我们想象的那种方式被学习,而是融入既有的特征中。

4