ポジショナルエンコーディング

Alibi位置エンコーディング

注意行列に静的バイアスを追加してトークン間の距離に基づいて注意スコアをペナルティ化する手法で、複雑なアーキテクチャ変更なしにより長いシーケンスへのより良い外挿を可能にします。

← 戻る