Le parole diventano vettori
Come ogni token diventa una lista di numeri che ne codifica il significato, e perché la geometria sostituisce il dizionario.
ObiettivoSpiegare cos’è un embedding vettoriale e cosa significa la vicinanza tra due vettori.
Un numero di token non dice nulla del significato. Il modello associa quindi a ogni token un vettore, cioè una lista che va da alcune centinaia a qualche migliaio di numeri. Si parla di embedding, termine inglese usato anche in italiano. Questi numeri non sono scritti a mano. Vengono appresi durante l’addestramento.
L’idea centrale è semplice. Parole che compaiono in contesti simili finiscono per avere vettori vicini. «Gatto» e «cane» si ritrovano vicini, e così «Berna» e «Ginevra». Il significato diventa una posizione in uno spazio, e la somiglianza diventa una distanza.
Direzioni che hanno un significato
Gli studi del 2013 su word2vec hanno mostrato un fenomeno sorprendente. Alcune direzioni dello spazio corrispondono a relazioni. Il vettore che va da «uomo» a «re» somiglia a quello che va da «donna» a «regina». Il calcolo re meno uomo più donna cade vicino a regina. Ciò non prova che il modello capisca la regalità, ma che le regolarità del linguaggio si traducono in geometria.
Riferimenti
- Mikolov, Chen, Corrado et al. (2013). Efficient Estimation of Word Representations in Vector Space. Preprint arXiv. arxiv.org/abs/1301.3781