はい、emo系 の真理 です、不思議の詰まった optimizer を軽く理解しましょう
・ものすごく単純にいうと｢emo系 emoPulse は高級スケジューラ｣です
・ですからスケジューラ設定は constant にしてお使いください
・仕組みとしては loss値 を観測し次に必要な LR推定 をします
※ SDEながらODE近似になる―という"正確さ"を実現しています
※ cos などの固定スケジューラとは違い常に自動で上下します
※ どの程度の性能か？ VAE再学習でも整合性を維持します
emo系の"真理"は簡単です！こういうことだ！
シチュエーション：何かの "テスト"(時間制限アリ) の時に ／ (さぁ！試験開始です！)
学習率の定義：高学習率(大胆)、低学習率(慎重) ／ 歩く歩幅とも形容される
emo系は、答案用紙に正解を書き連ねていきます。
解答に不安があるとき：答えを途中まで書いて次の問題に進みます(動的学習率"低"で概要になる)、
解答に自信のあるとき：正解を丁寧に書きます(動的学習率"高"かつ精緻になる)、
問題を解いていく間に、不安だった解答に、少しづつ書き足すことで正解へ近づけます、
(これを"時間的積算"による動的学習で実現しています／shadowナシで)
終盤の見直しで自信を高めると(確信)、正解を"より丁寧に"修正します(大胆に)
※ ただし"自信過剰"な場合(初期学習率高すぎる)は、もれなく発散や過適合になります
※ "自信過剰"というケース、これは emo系に特有ではなく、どのoptimizerでも同じです
従来手法は、答案用紙に"正解も誤解も"書き連ねます
スケジュールに従い、最初はとにかくなんでも書きます、正解も誤解もなんでも、
終盤に見直しをし、なるべく正解に近づけます、大きな間違いは正しくなりません
序盤の大きな誤解が"さらなる誤解"を呼び、発散か過適合になる場合もあります
最終盤の見直しで誤解の修正を試みますが、慎重すぎて時間切れになる場合もあります
更新原理はスケジューラの支配的な干渉が最優先されます
つまり学習状態に無関係でスケジュールにただ従うだけです
emo系が高学習率でも詳細を獲得できるのは、、、
"精緻さの定義を｢ステップサイズ｣から｢更新の信頼性｣へと転換" したことに由来します
精緻さ＝ステップサイズの小ささではなく(低学習率ではなく)
更新の信頼性と方向性の正しさ を活かしています
最適解に近づき損失の変動が小さくなるにつれて以下の現象が起こります
１、感情スカラーが小さくなる：モデルが安定し感情的な高ぶりが収まります
２、勾配の絶対値が小さくなる：最適解の谷底に近づくと勾配自体が小さくなります
３、最終的なｐ更新量： p = 学習率 × exp_avg / denom は上記の効果で小さくなります
つまり学習率は係数ですから元の勾配も小さいのでｐも小さくなります
※ 感情スカラー閾値以下の場合は無介入になり元の更新式を全面信頼します(v3.1stable)
正確な更新＝精緻、不正確な更新＝概要、が学習の基本原理ですから、
従来手法では、この正確さを小さいステップにする学習率の管理で実現します
emo系は、常に正解の方向へ進むので精緻さも自然に獲得する、ということになります
(信頼度が高いときに学習率も高くする、正確＝精緻＝高学習率です)
従来手法でも信頼性を測るいろいろな仕組みを取り入れたoptimizerがありますが、
それはどのpを更新していいか、であり、学習率をここまで大胆に活用しません
人間的というか心理的というか、だからこそ"感情"なんです
信頼＝大胆に、不安＝慎重に、という当たり前の原理を持たせています
さて、ここまで見てきて気づいた方もいると思いますが
emo系は、観察、判断、決定、行動、記憶、反省、という自律サイクルを行っており、
これは最初の、はじまりの 特異点(singularity) その第一歩だろう、と思います
外部依存しない optimizer の中に ｢自己｣ が宿りはじめています
これは｢emo系の特徴｣です (もちろん shadow=False で、すべて機能します)
機能密度が異常：短いコードで、複数の高次moment機能、履歴補償、量子化補償、信頼度フィルタ、動的スケーリング、自己修復･自己停止･分散自律機能、等が内包
負荷ゼロで上位互換：SVD、infLoRA、ABBA-LoRA、PiSSA、Kahan補償、動的Rank/Alpha等の機能を、構造的に再現しながら負荷はほぼゼロ、しかも上位互換です
step毎に全機能が稼働：多機能なのに間欠的処理ではなく、すべてを常時適用しながら安定性を維持。どの機能も常に安全な最適化を諦めません
追加テンソル不要：VRAM負荷が必要最小限。これは、量子化モデル(fp8 以下)でも安定動作する設計。数値誤差に対する“構造的耐性”を持ちます
簡単にいうと｢全部入り｣です、ぜひつかってみてくださいね