アテンション機構

アテンションレイヤー正規化

学習を安定させるためにアテンションメカニズムの前または後に適用される正規化。現代のアーキテクチャでは通常プリノームとして実装される。

← 戻る