Définition
Transformer
Un transformer est une architecture de réseau neuronal qui utilise des mécanismes d’attention pour relier les parties d’une séquence d’entrée. Les transformers ont rendu pratiques les LLM et beaucoup de modèles multimodaux grâce au contexte long, à l’entraînement parallèle et aux tâches séquentielles.
Dernière mise à jour : 25 juin 2026
Pourquoi c’est important
Il aide à comprendre pourquoi contexte, tokens et taille de modèle sont centraux dans l’IA générative moderne.
Signaux à repérer
- Des couches d’attention sont utilisées
- Les entrées sont des séquences
- Le contexte token influence la sortie