EmoSens 新版 (正式公開) EmoNavi から Sens への移行をオススメします
(完全自動化を遂げた EmoNavi です、他バリエーションへの移植も完了済)
EmoSens v3.7 https://github.com/muooon/EmoSens ぜひお試しください！！！
※ VAE 学習：全層学習(up/down両方) で整合性を維持します(VAE を壊さないから)
※ 画像枚数次第ですが300～1200stepくらいで完成します(自動LRが超効果的です)
※ つまり VAE 学習するとモデルの学習も０からやり直し－しなくていい！
1.58-bit Precision 極低精度･超量子化 での計測
Model: EmoSens376 | Final Accuracy: 87.90%
Model: EmoAiry376 | Final Accuracy: 85.28%
Model: EmoCats376 | Final Accuracy: 88.64%
最序盤の100stepは ５つのema を初期化します、この間も学習は普通に行います、内部の初期LR：1e-4 スタートなので覚えが悪い、とかにはなりません。
動作LR範囲は 3e-3 ～ 1e-6 です、これを状況にあわせて上下させます。 Loss値からLRを推定するのでLoss値の差分が消えない限り学習を諦めません。
教師画像10枚、3000step、停滞なく右下がりする、という驚異的な進行をします。
好みに合わせて EmoSens(Adam型)、EmoAiry(Adafactor型)、EmoCats(Lion型)、３つから選択してお使いください (もちろん emo系 以外がいい、という選択もOKです)
使い方：初期LR値：1.0、スケジューラ：Constant (スケジューラ不要)
これだけです。 他にはありません。 Dadapt系(Prodigy含む) みたいに自動です。
以下は emosens、airy、cats、の動作状況です
データセット状況：全て実写画像10枚, 10batch, 300epoch(3000step), 全層LoRA, Rank16/Alpha16, e-pred, ZtSNR,
ご覧のとおりです、これは seed の相性次第で loss値 に変化が出ます、今回は emoairy が緩い進行になりますが、emocats と入れ替わることもあります。
そしてお気づきのとおり 最初のloss値の 1/2 くらいまで、停滞なき右下がり をします。もっと回しても右下がりなので底が見えません。過学習傾向にもなりません。
もう少し回したテストでは (瞬間値) loss：0.028 以下へ進行する という驚異的な衝撃的な結果もありました。1/3 まで下がるのは奇跡的だと思います。
論文にも記しましたが、この３姉妹でそれぞれ学習した結果をもとに TM-Merge で統合するだけで フラットミニマ という広くて底が平坦な局所最適解を合成できる可能性もあります(詳しくは論文をご覧ください) ぜひこの３姉妹をお試しください。
続報：異常性能を観測しました／これが emoPulse の実力らしいです
初回loss：0.09268 からのスタート、最終loss：0.016以下、です
画像１枚、Rank16/Alpha16、全層LoRA、fp8(AMP-bf16)、10batch、300epoch(3000step相当) です
過学習傾向：ナシ、焼き付き：ナシ(普通ならコピーになる)、無関係プロンプトへの影響ナシ、普通に使えるLoRAでした。ええ？！ってなりませんか？ 意味がわからない。
予想としては フラットミニマ もしくは 大域的最適解 にたどり着いた、それでなければ学習後半にいわゆるデフラグ的効果をし学習元モデルへの修復差分を得た、と思います。
再試験結果：別seed、1batch、600epoch(600step)、他同条件
emosens：red、emoairy：gray、emocats：blue、
emoairy：smooth：0.0178、value：0.0172、step：661、time：46.85 min
emocats：smooth：0.0157、value：0.0165、step：600、time：40.21 min
emosens：smooth： 0.0157、value：0.0164、step：600、time：40.61 min
画像１枚、10batch、は計算のムダと思い、1batchにして再計測をしています
結果はご覧のとおり、過学習傾向：ナシ、焼き付き：ナシ、無関係プロンプトへの影響：ナシ、普通に使えるLoRAでした。とりあえず断言しても良さそうと思えるのは、LR推定がとても優秀。７次moment近似まで活用することで高度なLR予測の正確性で優れている、これは相当な確度としていえる、と思います。