Les mots deviennent des vecteurs
Comment chaque jeton devient une liste de nombres qui encode son sens, et pourquoi la géométrie remplace le dictionnaire.
ObjetivoExpliquer ce qu’est un plongement vectoriel et ce que signifie la proximité entre deux vecteurs.
Un numéro de jeton ne dit rien du sens. Le modèle associe donc à chaque jeton un vecteur, c’est-à-dire une liste de plusieurs centaines à plusieurs milliers de nombres. On parle de plongement, ou embedding en anglais. Ces nombres ne sont pas écrits à la main. Ils sont appris pendant l’entraînement.
L’idée centrale est simple. Des mots qui apparaissent dans des contextes semblables finissent par avoir des vecteurs proches. « Chat » et « chien » se retrouvent voisins, « Berne » et « Genève » aussi. Le sens devient une position dans un espace, et la ressemblance devient une distance.
Des directions qui ont un sens
Les travaux de 2013 sur word2vec ont montré un phénomène frappant. Certaines directions de l’espace correspondent à des relations. Le vecteur qui va de « homme » à « roi » ressemble à celui qui va de « femme » à « reine ». Le calcul roi moins homme plus femme tombe près de reine. Cela ne prouve pas que le modèle comprend la royauté, mais que les régularités du langage se traduisent en géométrie.
Referências
- Mikolov, Chen, Corrado et al. (2013). Efficient Estimation of Word Representations in Vector Space. Prépublication arXiv. arxiv.org/abs/1301.3781