As palavras tornam-se vetores
Como cada token se torna uma lista de números que codifica o seu sentido, e porque é que a geometria substitui o dicionário.
ObjetivoExplicar o que é um embedding vetorial e o que significa a proximidade entre dois vetores.
Um número de token não diz nada sobre o sentido. O modelo associa portanto a cada token um vetor, ou seja, uma lista de várias centenas a vários milhares de números. Fala-se de embedding, ou representação vetorial. Estes números não são escritos à mão. São aprendidos durante o treino.
A ideia central é simples. Palavras que aparecem em contextos semelhantes acabam por ter vetores próximos. «Gato» e «cão» ficam vizinhos, «Berna» e «Genebra» também. O sentido torna-se uma posição num espaço, e a semelhança torna-se uma distância.
Direções que têm sentido
Os trabalhos de 2013 sobre o word2vec mostraram um fenómeno notável. Certas direções do espaço correspondem a relações. O vetor que vai de «homem» a «rei» assemelha-se ao que vai de «mulher» a «rainha». O cálculo rei menos homem mais mulher cai perto de rainha. Isto não prova que o modelo compreende a realeza, mas sim que as regularidades da linguagem se traduzem em geometria.
Referências
- Mikolov, Chen, Corrado et al. (2013). Efficient Estimation of Word Representations in Vector Space. Pré-publicação no arXiv. arxiv.org/abs/1301.3781