Emo 系 optim 完成後、いろいろ見えたものから、とうとう新optimが生まれました
QPOLA (キュポラ) optimizer
QPOLARIS (Quantization n Polar-Aligned Resetting Instant SGD)
量子化に強い、履歴ゼロ、空間協調(極座標･QJL)による自己適応型SGD
https://github.com/muooon/QPOLA
概ね、AdamW：1e-4 と、QPOLA：1e-2 が同等くらいです(目安にどうぞ)
精密計測してないため、ひとまずAdamWと同じLRで試して調整してください
● VRAM負荷 ━━► 0 (ゼロ) (モーメントバッファ不要)
● 計算負荷 ━━► 同等以下
● スケジューラ ━━► 不要
完全なモーメントフリー、を成し遂げ、かつ個別 p の正確な更新も行います
仕組みは、全体の方向を見る、少数の方向を見る、個別の方向を決定する、だけ
このとき、個別のLRを整合率から算出します、なので自動ブレーキになります
(これは整合率により滑らかな値｢1.0～0.01 × ユーザー指定LR｣として実行します)
ただこれ 実験的 optim です、もし動かなくなっても笑って済ませてください
一応、Anima で FT(微調整) ８時間学習完了、2048px学習を確認済みです
もちろん LoRA も大丈夫、RTX3060-12GB で、これができる、っていいでしょう？
特殊optimだけど、簡単に使えるように工夫してあるので、ぜひお試しください