Las palabras se convierten en vectores
Cómo cada token se convierte en una lista de números que codifica su significado, y por qué la geometría sustituye al diccionario.
ObjetivoExplicar qué es un embedding vectorial y qué significa la proximidad entre dos vectores.
Un número de token no dice nada del significado. Por eso el modelo asocia a cada token un vector, es decir, una lista de entre varios cientos y varios miles de números. Se habla de embedding, a veces traducido como incrustación. Estos números no se escriben a mano. Se aprenden durante el entrenamiento.
La idea central es sencilla. Las palabras que aparecen en contextos parecidos acaban teniendo vectores cercanos. «Gato» y «perro» quedan próximos, «Berna» y «Ginebra» también. El significado se convierte en una posición en un espacio, y el parecido se convierte en una distancia.
Direcciones con significado
Los trabajos de 2013 sobre word2vec mostraron un fenómeno llamativo. Algunas direcciones del espacio corresponden a relaciones. El vector que va de «hombre» a «rey» se parece al que va de «mujer» a «reina». El cálculo rey menos hombre más mujer cae cerca de reina. Esto no demuestra que el modelo entienda la realeza, sino que las regularidades del lenguaje se traducen en geometría.
Referencias
- Mikolov, Chen, Corrado et al. (2013). Efficient Estimation of Word Representations in Vector Space. Prepublicación en arXiv. arxiv.org/abs/1301.3781