Glossaire IA

📂

sous-catégories

Mécanisme d'Attention

Concept fondamental permettant aux modèles de pondérer dynamiquement l'importance des différentes parties d'une séquence.

2 termes

📂

sous-catégories

Architecture Transformer

Structure neuronale révolutionnaire basée exclusivement sur des mécanismes d'attention sans réseaux récurrents.

2 termes

📂

sous-catégories

Attention Multi-Tête

Extension du mécanisme d'attention permettant de focaliser simultanément sur différentes positions avec différentes représentations.

4 termes

📂

sous-catégories

Positional Encoding

Technique d'encodage des informations de position dans les séquences pour compenser l'absence de récurrence.

14 termes

📂

sous-catégories

BERT

Modèle Transformer bidirectionnel pré-entraîné pour la compréhension du langage naturel.

1 termes

📂

sous-catégories

GPT

Série de modèles Transformer autoregressifs optimisés pour la génération de texte et le transfert d'apprentissage.

1 termes

📂

sous-catégories

Vision Transformers

Adaptation de l'architecture Transformer pour les tâches de vision par ordinateur en traitant les images comme des séquences.

3 termes

📂

sous-catégories

Attention Scaled Dot-Product

Implémentation mathématique efficace du mécanisme d'attention avec normalisation par la racine carrée de la dimension.

6 termes

📂

sous-catégories

Transformers Hiérarchiques

Architectures Transformer multi-échelles pour traiter des données structurées avec des relations hiérarchiques.

17 termes

📂

sous-catégories

Transformers Efficaces

Variantes optimisées des Transformers réduisant la complexité computationnelle de quadratique à linéaire.

1 termes

📂

sous-catégories

Transformers Audio

Application des architectures Transformer au traitement du signal audio pour la reconnaissance vocale et la génération musicale.

11 termes

📂

sous-catégories

Transformers Multimodaux

Modèles Transformer intégrant simultanément plusieurs modalités comme texte, image, audio et vidéo.

7 termes

📂

sous-catégories

Self-Attention

Mécanisme permettant à chaque élément d'une séquence d'interagir avec tous les autres éléments de la même séquence.

0 termes

📂

sous-catégories

Cross-Attention

Mécanisme d'attention entre deux séquences différentes, fondamental pour les tâches de traduction et multimodales.

12 termes

📂

sous-catégories

Sparse Attention

Variantes d'attention calculant sélectivement les poids pour réduire la complexité computationnelle.

6 termes