注：目前仅训练了SDXL版本，如果反馈好，会顺便训练SD1.5 版本的。
模型传送门：Honkai: Star Rail - All in One 星穹铁道全角色 Animagine XL V3 - v1.0 | Stable Diffusion LoRA | Civitai
1.0版本的相关信息如下
一、训练底模
lora基于Animagine XL V3 训练。
模型链接：https://civitai.com/models/260267?modelVersionId=293564
二、训练数据集
从danbooru获取的包含“honkai: star rail" 标签的，约13k张训练集。
将其短边压缩到1024，并按90%的质量以webp的格式保存。
这一阶段使用的工具为：https://github.com/deepghs/waifuc
三、打标
txt与danbooru对齐。
使用相关工具，对txt做了标签排序，使1girl总在对面。
如下面这张图：
它的txt文件内容是：
1girl, solo, sitting, blush, medium hair, pink hair, medium breasts, cleavage, collarbone, absurdres, archery shooting glove, armpit crease, black choker, black corset, black gloves, blue eyes, blue jacket, blue skirt, buttons, camera, closed mouth, dress shirt, english commentary, flower ornament, hair between eyes, highres, honkai: star rail, honkai \(series\), long sleeves, march 7th \(honkai: star rail\), miniskirt, off shoulder, partially fingerless gloves, pink eyes, pleated skirt, single glove, thigh strap, tied jacket, two-tone eyes, white shirt
这一阶段使用的工具:https://github.com/Eugeoter/sd-dataset-manager
四、训练工具与参数
训练所使用的项目为：https://github.com/bmaltais/kohya_ss
训练的分辨率为：1024，1024
训练的优化器为：AdamW 8bit
训练的repeat为1。
训练epoch为30。
训练batch size为10。
总步数为37920
训练设置的网络维度network_dim设置为16，训练出来的lora体积约100M。
在训练中，开启了分桶。
五、训练硬件与环境
本次训练在云端租卡平台autodl上进行。
使用的训练环境为我自己制作的镜像：
https://www.codewithgpu.com/i/t4wefan/kohya_ss/kohya-ss-SDXL
本次的lora之所以能够训练，离不开捏他的算力支持。
特别鸣谢：算力赞助 / GPU Sponsor: nieta.art
本次训练使用的显卡型号为4090 24G
六、支持的角色
本次训练的数据集，截至到2024年2月7日。
所以理论上，在2024年2月7日前全网网络素材较多（100图+）的星穹铁道角色，都是有可能支持的。
包括但不限于：
trailblazer_(honkai:_star_rail) 开拓者（游戏主角）
kafka_(honkai:_star_rail) 卡夫卡
march_7th_(honkai:_star_rail) 三月七
........以下略........
stelle_(honkai:_star_rail)
silver_wolf_(honkai:_star_rail)
dan_heng_(honkai:_star_rail)
caelus_(honkai:_star_rail)
blade_(honkai:_star_rail)
jingliu_(honkai:_star_rail)
himeko_(honkai:_star_rail)
bronya_rand
dan_heng_(imbibitor_lunae)_(honkai:_star_rail)
seele_(honkai:_star_rail)
fu_xuan_(honkai:_star_rail)
herta_(honkai:_star_rail)
jing_yuan
tingyun_(honkai:_star_rail)
ruan_mei_(honkai:_star_rail)
topaz_(honkai:_star_rail)
pom-pom_(honkai:_star_rail)
bailu_(honkai:_star_rail)
clara_(honkai:_star_rail)
asta_(honkai:_star_rail)
black_swan_(honkai:_star_rail)
更多支持的角色，请去
查看
七、模型效果
1.支持更多星穹铁道的角色
虽然Animagine XL V3 支持大部分星穹铁道角色，但仍有部分角色是其没有覆盖掉的。
这时我们的lora就发挥作用了。
比如阮梅 ruan mei \(honkai: star rail\)
比如黑天鹅 black swan \(honkai: star rail\)
比如真理医生 dr. ratio \(honkai: star rail\)
比如寒鸦hanya \(honkai: star rail\)
比如 砂金aventurine \(honkai: star rail\)
比如 花火 sparkle \(honkai: star rail\)
比如 霍霍 huohuo \(honkai: star rail\)
比如 刃 blade \(honkai: star rail\)
如黄泉 acheron \(honkai: star rail\ （这个角色比较新，lora也没有完全还原）
如驭空 yukong \(honkai: star rail\) 等等....
2.在单人图中，强化原有角色的特征
即便是底模已经认识的角色，使用该lora也不会造成负优化，请放心使用
如桂乃芬 guinaifen \(honkai: star rail\)
在底模中可以还原90%，通过使用lora，可以起到强化角色特征的作用，如头顶的花
如托帕topaz \(honkai: star rail\)，更稳定的特征
如符玄fu xuan \(honkai: star rail\)，更还原的服装
3.在多人图中，使各自角色的特征没这么容易混淆
如青雀 qing que\(honkai: star rail\) 与符玄 fu xuan \(honkai: star rail\) 的多人图
如三月七 march 7th \(honkai: star rail\)与 女主角色stelle \(honkai: star rail\) 的多人图，更还原的女主服装
如跟符玄fu xuan \(honkai: star rail\)有关的双人图
八、模型的挑选
该lora总共训练了30epoch，保存了30个中途模型。
因为模型制作者有选择困难症，因此只从10epoch、20epoch、30epoch这三个模型里面调。
另外，通过给模型设置0.01权重的方式，模拟没有使用lora的效果。
不可否认的是，高达13k图片的训练，确实对lora的画风产生了影响。
以下是黄泉角色的对比效果。
可以看到画风似乎有肉眼可见的差异。
在黄泉黑色内衣的还原上，可能还是30epoch表现得比较好。
通过对驭空 yukong \(honkai: star rail\) 的测试，可以更明显得看到这种画风上的差异。
下面是对寒鸦hanya \(honkai: star rail\)的测试，感觉画风上最让人舒服的是10epoch，但是还原度稍微差一点。（胸口的黑纱）
测试图片素材较少的花火 sparkle \(honkai: star rail\)
30epoch似乎伴随着某些坏脚的概率。
通过对训练集中的少图角色银枝 argenti \(honkai: star rail\)的测试，排除了10epoch以下的版本
对于我这种原始方法训练的全角色,对于训练集中的少图角色，在10epoch没有还原的，在30epoch也难以还原。
如流萤firefly \(honkai: star rail\)，在本训练集中的占比非常少（小于100张，具体多少未统计）
经过测试，最终还是选择还原度效高的30epoch.