LoRA for just Randoseru https://civitai.com/models/76191

Randoseru and Buruma together.

Randoseru without Buruma works as well.

Buruma without Randoseru result in shoulder strap on uniform.

Randoseru color is mostly pink. Buruma color is mostly navy black or red.

Example

<lora:randoseruburuma_v1.3:1> carrying randoseru backpack and wearing navy buruma and white gym uniform with colored hem

For commercial use, refer to my profile.

Donation can be made here: https://ko-fi.com/eeb_p

ランドセルブルマです。

ブルマなしのランドセルとしても使えます。

ランドセルなしのブルマとして使おうとすると体操服に肩ベルトが付いてしまいます。

ランドセルはピンク、ブルマは紺色か赤色が出やすいです。

例

<lora:randoseruburuma_v1.3:1> carrying randoseru backpack and wearing navy buruma and white gym uniform with colored hem

Version 1.3

Improved hand, selectable buruma color

carrying randoseru backpack and wearing navy buruma and gym uniform with colored hem

<lora:randoseruburuma_v1.3:1> carrying randoseru backpack and wearing navy buruma and white gym uniform with colored hem

<lora:randoseruburuma_v1.3:1> carrying randoseru backpack and wearing red buruma and white gym uniform with colored hem

<lora:randoseruburuma_v1.3:1> carrying randoseru backpack and wearing green buruma and white gym uniform with colored hem

Version 1.2

LoRA block weight 0,0,0,0,0,0,0,1,1,1,1,0,0,0,0,0,0 have been applied.

<lora:randoseruburuma_v1.2:1> wearing randoseru backpack and buruma and gym uniform with colored hem

Version 1.0

If you have LoRA Block Weight, weight like below is pretty good.

<lora:randoseruburuma_v1.0:1:0,0,1,1,1,1,0,1,1,1,0,0,0,1,1,1,0,1,1,1,1,0,0,0,0,0>wearing randoseru backpack and buruma and gym uniform with colored hem

解説

衣装LoRAを作る人の役に立てるか分からないけど、このLoRAの学習した方法ついて記載します。

ランドセルブルマLoRAはランドセルという大きなアクセサリと、ブルマ体操着という一般的な衣装の両方を学習しているので少し特殊かもしれません。

全てのデータが残ってないので、残ってるログから確認していますが一部間違ってることもあるかもしれません。

私の通りにすればいいというよりも、初めて衣装LoRAを作る人のとっかかりになるかと思って書いておきます。

雰囲気で学習してもそれなりの結果が出るという例になれば。

学習画像の準備

学習画像は244枚

顔はクロップで切り取っています。

LamaCleanerで服にかかった髪の毛、服のタグやロゴ、ランドセルや衣装のアクセサリを消しています。

Rembg（1111 webuiのExtension）で一部の画像の背景を消しています。（簡単に消せないものはあきらめてそのまま）

被写体のポーズで手が隠れているものを使うと、画像生成時に手が無くなりやすいので除外しています。

83枚のランドセルブルマ画像

WD14 captioningでデータを付けて1girl,soloは抜いています

26枚のランドセル画像

一度BLIP to captionでデータを付けた後に1枚ずつ手打ち修正して「upper body wearing pink randoseru backpack」と「view from ****」を書き足しました。

これでbackpackの概念をランドセルで乗っ取りつつ、人の体のどの部分にどの角度でランドセルがついてるのかを学習させます。

全ての角度が同じ数の学習だとランドセルLoRAの時にbehindやsideのできが悪かったので枚数を増やすことで学習精度をあげています。

9枚のview from behind画像

5枚のview from above画像

5枚のview from front画像

7枚のview from side画像

11枚のブルマ画像

WD14 captioningでデータを付けて1girl,soloは抜いている

学習

https://github.com/bmaltais/kohya_ss.git を使って学習しています。

上記3つの画像を別のFolderに入れてStep数を調整しています。

画像の枚数が少ない要素はフォルダのStep数を上げることでバランスを取ります。

1_randoseruburuma

3_randoseruview

7_buruma

LoRA typeはStandard（普通のLoRA）

Train batch sizeは4（GPUのメモリサイズで決めます, out of memoryになったら下げましょう。余裕があるなら上げましょう。）

epochは50と入力しています。　生成しようとすると41になって、出来がよかったepch 12を選んでます。

Precisionはbf16です。fp16でもいいかもしれません。

Number of CPU threads per coreは自分のCPUに合わせてください。

Learning rateは1

LR Schedulerはcosine

LR warmupは0

OptimizerはDAdaptLion

Optimizer extra argumentsは"betas=(0.9, 0.99)" "weight_decay=0.4" "d0=1e-06"

Text Encoder learning rateは1

Unet learning rateは1

Network Rank (Dimension)は128

Network Alphaは128

Scale weight norms, Network dropout, Rank dropout, Module dropoutは全部0。よく分かってません。

Max resolutionは512, 512

Stop text encoder trainingは0

Stop text encoder trainingはON

おまけ：Advanced Configuration

衣装に関係なさそうなblockを削っています。

これは一度weightの設定をデフォルト（All 1）でLoRAを作った後に、どの階層のBlock Wieghtを消してもランドセルブルマ画像が生成されるかを調べて設定しました。

"down_lr_weight": "0,1,1,1,1,0,1,1,1,0,0,0",

"mid_lr_weight": "1",

"up_lr_weight": "1,1,0,1,1,1,1,0,0,0,0,0",