Os tokens, unidade de base do modelo

Um modelo de linguagem só manipula números. Antes de qualquer cálculo, o texto é portanto dividido em pedaços chamados tokens, e cada token recebe um número num vocabulário fixo. Esta divisão chama-se tokenização.

Os tokens não são letras nem palavras inteiras. Uma palavra comum cabe muitas vezes num único token. Uma palavra rara, um nome próprio ou um termo técnico é cortado em vários pedaços frequentes. O método mais difundido, a codificação por pares de bytes, parte dos caracteres e funde passo a passo os pares que aparecem com mais frequência num grande corpus.

O que isto explica

• O tamanho de um documento, o limite de uma conversa e muitas vezes o custo contam-se em tokens, não em palavras.
• Um texto em português, francês ou alemão exige em geral mais tokens do que o mesmo texto em inglês, porque os vocabulários foram construídos sobre corpora maioritariamente ingleses.
• Contar as letras de uma palavra ou escrevê-la ao contrário é difícil para um modelo. Não vê as letras, vê pedaços.