AI用語集

📖

用語

勾配ノイズ

ミニバッチの確率的サンプリングに起因する勾配推定の固有の変動性であり、局所解から脱出するのに役立つ可能性がある。このノイズはバッチサイズに反比例する分散を特徴とし、収束に伴って減少する。

📖

用語

Vanilla SGD

モーメンタムや学習率の適応といった加速メカニズムを持たない、確率的勾配降下法の基本バージョン。Vanilla SGDは、一定の学習率で勾配の負の方向に従って重みを更新する。

📖

用語

フルバッチ勾配降下法

各反復で勾配の正確な推定値を計算するためにデータセット全体を使用する勾配降下法の変種。このアプローチは安定した収束をもたらすが、大規模なデータセットでは計算コストが過大になる。