À l’intérieur d’un modèle de langage
Jetons, vecteurs, attention et entraînement : ce qui se passe vraiment entre votre question et la réponse.
8 leçons · 1 quiz · 2 h 30 · badge de fin de cours
- Expliquer comment un texte devient une suite de jetons, puis de vecteurs.
- Décrire le rôle de l’attention dans un transformeur, avec un exemple.
- Distinguer pré-entraînement, ajustement par instructions et alignement.
- Relier ces mécanismes aux erreurs que vous observez au quotidien.
- Lire un article de référence du domaine sans vous perdre dans le vocabulaire.
- Pour qui
- Référents IA, formateurs, profils techniques et toute personne qui veut comprendre le fonctionnement interne des modèles.
- Prérequis
- Le cours « Ce que l’IA sait faire, et ses limites », ou une première pratique des assistants.
- Durée
- 2 h 30
- Niveau
- Avancé
Le contenu du cours.
- 01Du texte aux nombres3 leçons
- Les jetons, unité de base du modèle15 min
Pourquoi un modèle ne lit ni des lettres ni des mots, mais des jetons, et ce que cela change pour vous.
- Les mots deviennent des vecteurs18 min
Comment chaque jeton devient une liste de nombres qui encode son sens, et pourquoi la géométrie remplace le dictionnaire.
- Le sens comme proximité : la recherche sémantique15 min
Les vecteurs servent aussi à retrouver un document par son sens, sans partager un seul mot avec la question.
- Les jetons, unité de base du modèle15 min
- 02Le transformeur3 leçons
- L’attention, ou lire tout le texte à la fois20 min
Le mécanisme qui permet à chaque mot de tenir compte de tous les autres, au cœur de tous les grands modèles actuels.
- Des couches empilées et des milliards de paramètres15 min
Ce que sont les paramètres d’un modèle, et pourquoi leur nombre a tant compté.
- Choisir le mot suivant : probabilités et température15 min
Le modèle ne produit pas un mot, il produit une probabilité pour chaque mot possible. Le choix final dépend d’un réglage.
- L’attention, ou lire tout le texte à la fois20 min
- 03Entraîner un modèle2 leçons
- Le pré-entraînement et les lois d’échelle20 min
Comment un modèle apprend en prédisant le mot suivant sur des milliers de milliards de jetons, et ce que les lois d’échelle ont révélé.
- Suivre des instructions : ajustement et alignement20 min
Pourquoi un modèle brut complète du texte au lieu de répondre, et comment on lui apprend à être utile et prudent.
- Le pré-entraînement et les lois d’échelle20 min
- ✓Quiz final8 questions