AI Glossary
The complete dictionary of Artificial Intelligence
Architecture Transformer
Structure neuronale révolutionnaire basée sur le mécanisme d'attention qui constitue la base des LLM modernes.
Mécanisme d'Attention
Processus permettant aux modèles de pondérer l'importance des différents tokens dans une séquence pour comprendre les relations contextuelles.
Pre-training et Corpora
Phase initiale d'entraînement sur des billions de tokens pour acquérir des connaissances générales du langage et du monde.
Fine-tuning Supervisé
Processus d'adaptation d'un LLM pré-entraîné à des tâches spécifiques en utilisant des données labellisées.
Tokenisation
Processus de conversion du texte en unités discrètes (tokens) que les modèles peuvent traiter mathématiquement.
Prompt Engineering
Art et science de concevoir des instructions optimales pour guider les LLM vers des réponses désirées.
RAG (Retrieval-Augmented Generation)
Technique combinant recherche d'informations externes et génération pour améliorer la précision et la fraîcheur des réponses.
Quantification et Optimisation
Techniques de réduction de la taille des modèles et d'accélération de l'inférence tout en préservant les performances.
RLHF (Reinforcement Learning from Human Feedback)
Méthode d'alignement des LLM avec les préférences humaines grâce à l'apprentissage par renforcement.
Agents LLM
Systèmes capables d'utiliser des LLM pour raisonner, planifier et exécuter des tâches complexes de manière autonome.
Multimodalité
Capacité des LLM à traiter et générer du contenu combinant texte, images, audio et autres modalités.
Benchmarks et Évaluation
Métriques et jeux de tests standardisés pour mesurer objectivement les performances des LLM sur diverses tâches.
LoRA et Fine-tuning Efficace
Techniques de fine-tuning paramétrique efficace permettant d'adapter les LLM avec des ressources computationnelles limitées.
Fenêtre de Contexte Étendue
Développements techniques permettant aux LLM de traiter des contextes beaucoup plus longs pour des applications complexes.
Sécurité et Alignement
Méthodes pour garantir que les LLM produisent des réponses sûres, éthiques et alignées avec les valeurs humaines.
Scaling Laws
Principes mathématiques régissant la relation entre la taille des modèles, les données d'entraînement et les performances.
Inférence en Temps Réel
Optimisations matérielles et logicielles pour permettre des réponses instantanées des LLM en production.