Trois matrices dérivées de l'entrée utilisées dans l'attention : Queries pour chercher, Keys pour être trouvées, et Values contenant l'information à extraire.

📖

termini

Additive Attention

Type d'attention utilisant un réseau neuronal à une couche pour calculer les scores de compatibilité, particulièrement efficace lorsque les dimensions des requêtes et clés diffèrent.

🔍

Glossario IA

Queries, Keys, Values (QKV)

Additive Attention

Nessun risultato trovato