AutoInt

Agrégation de Têtes

Processus de concaténation ou de moyennage des sorties de toutes les têtes d'attention pour former une représentation unifiée avant de la passer à la couche suivante.

← Retour