Voir, entendre et parler : les modèles multimodaux

Les assistants de 2026 ne lisent pas que du texte. Ils lisent une photo, une page scannée, un graphique ou une capture d’écran, et beaucoup écoutent et parlent. On les dit multimodaux. Le principe reste celui des jetons.

Une image est découpée en petits carrés, par exemple de 16 pixels de côté. Chaque carré devient un vecteur, traité comme un jeton par le transformeur. Pour que ces jetons d’image prennent un sens, le modèle apprend sur un très grand nombre d’images associées à leur légende. En 2021, le modèle CLIP a ainsi rapproché les images et les textes qui les décrivent dans un même espace de vecteurs, à partir de 400 millions de paires.

La voix suit deux chemins. Souvent, elle est d’abord transcrite en texte, puis traitée comme une demande écrite. Le système de transcription Whisper, publié en 2022, a été entraîné sur 680 000 heures d’enregistrements. D’autres modèles traitent directement le son comme des jetons, ce qui leur permet de saisir le ton et de répondre presque sans délai.

• Les petits caractères et les tableaux denses d’une page scannée, où une colonne peut glisser.
• Les valeurs lues sur un graphique, qui sont des estimations à l’œil, pas des données.
• Compter des objets ou situer précisément un élément dans l’image.
• Les détails inventés. Le modèle peut décrire avec assurance ce qui n’est pas sur l’image.