【Art Style】赤倉 | Akakura

2023.11.03

更新 v3 版本，在 v1 基础上增强了泛化性。建议使用高分辨率修复（Hires.fix）。样图采用的放大算法为 R-ESRGAN 4x+ Anime6B，放大倍数 1.5，迭代次数为 0。

使用 moat v2 对训练集打标，优化器为 Lion，学习率默认为 1e-5 和 1e-6，repeat=5，训练 20 个epoch。本次训练降低了 step 数，增加了 batch size，训练分辨率为 1024*1024。

在增加 batch size 的过程中，发现在没有增加学习率的情况下，模型在第 4 个 epoch 效果最好（该结论在训练 anmi 模型的时候也有体现）。epoch ≥7时，画风开始过拟合，且当 epoch ≥16 时开始收敛至第二个最小值。

因此我认为之前的 lora 模型已经严重过拟合，并决定把 v1 版本的模型删除。

——————————

2023.09.19

更新了 v2 版本，采用 Loha 来大幅减少文件大小，以满足一部分用户的需求。

Loha 等 Lycoris 模型的训练速度非常慢（大约是正常 Lora 训练速度的一半左右），且对显存要求比较高，训练成本较大。因此我不会训练太多的 Loha 模型。

封面是 Loha 在 NAI ，也就是训练底模下出的样图。相较于 Lora ，该模型在 NAI 和 Anything 上表现出些许的欠拟合。而相对应，加强了在其他底模上的稳定性和泛化性。

事实证明，Loha 适合用于画风训练，因为模型中的卷积层能够更好的吸收训练集中的画风以及其他更抽象的信息，这能很好的缓解线性层的学习压力。经测试，比较合适的画风训练参数为 dim = 32，conv = 4。alpha值不确定，我倾向于设置成与 dim 相同的值，调的太低的话我感觉会出鬼神。

请确保您的 stable diffusion webui 更新到最新版本。建议出图分辨率为 704*1024。

——————————

2023.09.02

v1.1 修复了瞳孔部分的问题，建议加入提示词 “dot pupils‘’ ‘’eyelashes” 等

所有图片均采用 NovelAi 泄露模型生成，‘’highres‘’可能可以提升图片质量。你也可以选择anything之类的二次元模型，细节拟合效果更好，但在NSFW上效果欠佳。

选了个loss值最低的测试（v1.0），发现效果不是很好，远景或者全身会画面崩坏，因此还在测试另一个版本（v1.1）

v1.0 目前核心问题是瞳孔画不出来。建议加入瞳孔相关的tag（dot，pupils之类的）以加强人物特征，但是效果也不是很好。且训练时发现，随着模型逐渐拟合，loss值在降低的过程中，人物的瞳孔特征也在逐渐消失。

个人认为是训练集中存在不同类型的瞳孔，但是缺少相关的tag进行识别，导致训练时各类瞳孔特征发生了融合。由于该画师画的瞳孔一般比较小，为了减少loss值，ai直接把瞳孔识别为噪声并删除了。