Les jetons, unité de base du modèle

Un modèle de langage ne manipule que des nombres. Avant tout calcul, le texte est donc découpé en morceaux appelés jetons, et chaque jeton reçoit un numéro dans un vocabulaire fixe. Ce découpage s’appelle la tokenisation.

Les jetons ne sont ni des lettres ni des mots entiers. Un mot courant tient souvent en un seul jeton. Un mot rare, un nom propre ou un terme technique est coupé en plusieurs morceaux fréquents. La méthode la plus répandue, dite par paires d’octets, part des caractères et fusionne pas à pas les paires qui reviennent le plus souvent dans un grand corpus.

Ce que cela explique

• La taille d’un document, la limite d’une conversation et souvent le coût se comptent en jetons, pas en mots.
• Un texte en français ou en allemand demande en général plus de jetons que le même texte en anglais, parce que les vocabulaires ont été construits sur des corpus majoritairement anglais.
• Compter les lettres d’un mot ou l’écrire à l’envers est difficile pour un modèle. Il ne voit pas les lettres, il voit des morceaux.