Im Inneren eines Sprachmodells
Tokens, Vektoren, Attention und Training: was zwischen Ihrer Frage und der Antwort wirklich geschieht.
8 Lektionen · 1 Quiz · 45 Min. · Abzeichen zum Abschluss
- Erklären, wie ein Text zu einer Folge von Tokens und dann von Vektoren wird.
- Die Rolle der Attention in einem Transformer anhand eines Beispiels beschreiben.
- Pretraining, Instruction Tuning und Alignment voneinander unterscheiden.
- Diese Mechanismen mit den Fehlern verknüpfen, die Sie im Alltag beobachten.
- Einen Referenzartikel des Fachgebiets lesen, ohne sich im Vokabular zu verlieren.
- Für wen
- KI-Verantwortliche, Ausbildende, technische Profile und alle, die verstehen möchten, wie Sprachmodelle intern funktionieren.
- Voraussetzungen
- Der Kurs «Was KI kann und wo ihre Grenzen liegen» oder erste Praxis mit Assistenten.
- Dauer
- 45 Min.
- Niveau
- Fortgeschritten
Der Inhalt des Kurses.
- 01Vom Text zu Zahlen3 Lektionen
- Tokens, die Grundeinheit des Modells7 Min.
Warum ein Modell weder Buchstaben noch Wörter liest, sondern Tokens, und was das für Sie bedeutet.
- Aus Wörtern werden Vektoren7 Min.
Wie jedes Token zu einer Liste von Zahlen wird, die seine Bedeutung codiert, und warum die Geometrie das Wörterbuch ersetzt.
- Bedeutung als Nähe: die semantische Suche3 Min.
Vektoren dienen auch dazu, ein Dokument über seine Bedeutung wiederzufinden, ohne ein einziges Wort mit der Frage zu teilen.
- Tokens, die Grundeinheit des Modells7 Min.
- 02Der Transformer3 Lektionen
- Attention, oder den ganzen Text auf einmal lesen3 Min.
Der Mechanismus, mit dem jedes Wort alle anderen berücksichtigen kann, im Kern aller grossen heutigen Modelle.
- Gestapelte Schichten und Milliarden von Parametern6 Min.
Was die Parameter eines Modells sind und warum ihre Anzahl so wichtig war.
- Das nächste Wort wählen: Wahrscheinlichkeiten und Temperatur3 Min.
Das Modell erzeugt kein Wort, sondern eine Wahrscheinlichkeit für jedes mögliche Wort. Die endgültige Wahl hängt von einer Einstellung ab.
- Attention, oder den ganzen Text auf einmal lesen3 Min.
- 03Ein Modell trainieren2 Lektionen
- Pretraining und Skalierungsgesetze3 Min.
Wie ein Modell lernt, indem es auf Billionen von Tokens das nächste Wort vorhersagt, und was die Skalierungsgesetze offengelegt haben.
- Anweisungen befolgen: Tuning und Alignment3 Min.
Warum ein Basismodell Text fortsetzt, statt zu antworten, und wie man ihm beibringt, nützlich und vorsichtig zu sein.
- Pretraining und Skalierungsgesetze3 Min.
- ✓Abschlussquiz8 Fragen