Sign In
LoRa训练基础研究(1)


If you find our articles informative, please follow me to receive updates. It would be even better if you could also follow our ko-fi, where there are many more articles and tutorials that I believe would be very beneficial for you!

如果你觉得我们的文章有料,请关注我获得更新通知,

如果能同时关注我们的 ko-fi 就更好了,

那里有多得多的文章和教程! 相信能使您获益良多.


For collaboration and article reprint inquiries, please send an email to [email protected]
合作和文章转载 请发送邮件至 [email protected]


by: ash0080

序言

我一直很犹豫要不要写LoRa Training系列,主要原因是我在刚开始学习的时候阅读了大量的相关文章,老实说体验非常糟糕,大多数文章或视频中充斥着大量的错误与经验主义(但这种经验往往只适用于某些特定的类型),甚至是胡说八道。但换个角度,这也说明也许LoRa训练本来就难以描述,而且工具和算法都在不停迭代,说不定今天还是正确的参数,明天就不再适用。但不管怎样,这些体验让我对LoRa训练是否能通过教程来传授这件事本身产生了怀疑,这就是我一直没有动笔写的原因。

不过,AIGARLIC作为C站排名第一的写作团队怎么可能不去触碰LoRa Training题材呢,因此即将有一位专业模型训练师加入我们,她是全球TOP50的某互联网公司的专职模型训练师,她将带给我们商业应用级别的模型训练,高细粒度的分析,调优的完整专业课程,目前这个系列已经在我们的ko-fi上更新中,欢迎关注我们的ko-fi.



关于如何组织训练集的文章已经很多了,但在Hazel的文章中,她分享了一种构建科学打标体系的方法,并且在这种高度理性的方法下,探讨了图片数量的平衡问题,专业而具有启发性!


那么我作为一个AIGC的小学生,也打算厚着脸皮给大家分享一个完全不同角度的LoRa训练系列教程,如果说以往的教程像课堂授课,这个系列更像你的实验室操作指南,我不打算做太多的总结或告诉大家某些确定的结论,我只给大家分享一下我是怎样做实验的,希望这会是一种有意义的尝试。


————————————————————————————


basic_shape_grey 

训练集三个灰度形状,白底, tag只有一个 myshape


batch生成, 仅trigger word,  

可观察到的几个事实:

  1. 灰色被学习了

  2. 圆形被学习了

  3. 白色背景没有被学习

base_shape

这次训练集换成三个三原色几何体,那图片具有三个元素,形状,边线,颜色


相比前面,最大的区别就是出现了色彩

base_monster 

使用相同的训练集,只是关键词换成了原生词, monster


很难看出什么,可能训练强度相比于自定义词,对原生词的扭曲就显得不足够

但确实可以看见圆形,方形,以及三角形(构图)的存在

base_monster_colored

这次tags在monster基础上增加了颜色, red/green/blue monster


仅使用monster 关键词时,几乎与前一个模型没有什么区别,但是,

red monster

green monster

blue monster

有意思的事情发生了,使用更具体的tags时,绘制内容发生了非常大的改变,

尤其是绿色正方形,绘制出的内容偏差非常明显,我们又可以发现SD是理解透视的,方形和三角形,在SD的理解里有可能只是同样的透视关系。

base_blur  

我们再来试一试blur,  唯一tag, monster

与base_monster相比, 人物的边缘并没有变模糊,而是出现了大气和景深效果,我想这可能会让大家大吃一惊。

那么blur在增加内容气氛时,会变得相当有用

base_grid

唯一tag:  grid layout

其实仔细看LoRa不仅画了2x2,3x3,4x4 grid,甚至还出现了5x5和6x6, 很有意思的一个实验

但无论如何,在非过拟合的情况下,学习的特征大概率不会以我们想象的那种方式被学习,而是融入既有的特征中。

8

Comments