Lektion 2 von 8 · 7 Min.

Aus Wörtern werden Vektoren

Wie jedes Token zu einer Liste von Zahlen wird, die seine Bedeutung codiert, und warum die Geometrie das Wörterbuch ersetzt.

ZielErklären, was ein Vektor-Embedding ist und was die Nähe zwischen zwei Vektoren bedeutet.

Eine Token-Nummer sagt nichts über die Bedeutung aus. Das Modell ordnet daher jedem Token einen Vektor zu, also eine Liste von einigen Hundert bis einigen Tausend Zahlen. Man spricht von einem Embedding. Diese Zahlen werden nicht von Hand geschrieben. Sie werden während des Trainings gelernt.

Die zentrale Idee ist einfach. Wörter, die in ähnlichen Kontexten vorkommen, erhalten mit der Zeit nahe beieinanderliegende Vektoren. «Katze» und «Hund» landen nebeneinander, «Bern» und «Genf» ebenso. Bedeutung wird zu einer Position in einem Raum, und Ähnlichkeit wird zu einem Abstand.

Eine zweidimensionale Projektion zur Veranschaulichung. Echte Vektoren haben Hunderte von Dimensionen.

Richtungen mit Bedeutung

Die Arbeiten zu word2vec aus dem Jahr 2013 haben ein auffallendes Phänomen gezeigt. Bestimmte Richtungen im Raum entsprechen Beziehungen. Der Vektor von «Mann» zu «König» ähnelt dem Vektor von «Frau» zu «Königin». Die Rechnung König minus Mann plus Frau landet in der Nähe von Königin. Das beweist nicht, dass das Modell das Königtum versteht, sondern dass sich die Regelmässigkeiten der Sprache in Geometrie übersetzen.

Quellen

Mikolov, Chen, Corrado et al. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv-Preprint. arxiv.org/abs/1301.3781