AI用語集

📖

用語

RMSprop

勾配の二乗の指数移動平均を用いて学習率を正規化し、振動を防ぎ収束を加速させる適応的最適化手法。

📖

用語

AdaGrad

勾配の二乗の履歴和に基づいて各パラメータの学習率を調整する最適化アルゴリズムで、出現頻度の低いパラメータに対してより大きな更新を可能にする。

📖

用語

AdaDelta

累積和ではなく過去の勾配の移動窓を使用することで、学習率の単調減少問題を解決したAdaGradの拡張版。

📖

用語

Weight Decay

損失関数にL2正則化項を加えることで大きな重みにペナルティを課し、過学習を防いで汎化性能を向上させる正則化手法。

📖

用語

Beta Parameters (Adam)

勾配の移動平均（一次モーメント）とその分散（二次モーメント）の指数減衰率をそれぞれ制御するハイパーパラメータβ1およびβ2。

📖

用語

Bias Correction

モーメント推定値の初期バイアスを修正するAdamの仕組みで、特にトレーニングの初期段階において不偏な推定を保証するために重要。

📖

用語

Exponential Moving Average (EMA)

最近の観測値により大きな重みを割り当てる平滑化手法で、適応的オプティマイザにおいて勾配のモーメントを推定するために使用される。

📖

用語

YOGI

適応的分散コントローラーを使用してトレーニングを安定化させるAdamの変種で、非定常分布やノイズの多い勾配を持つデータにおいて特に効果的。

📖

用語

サイクル学習率

最小値と最大値の間で学習率を周期的に変化させる戦略で、モデルが局所解から抜け出し、異なる吸引領域を探索できるようにします。