Lektion 4 von 8 · 7 Min.
Sehen, hören und sprechen: multimodale Modelle
Wie ein Modell ein Foto, eine gescannte Seite oder eine Stimme liest, und wo es sich noch irrt.
Die Assistenten von 2026 lesen nicht nur Text. Sie lesen ein Foto, eine gescannte Seite, eine Grafik oder einen Screenshot, und viele hören zu und sprechen. Man nennt sie multimodal. Das Prinzip bleibt das der Tokens.
Ein Bild wird in kleine Quadrate zerlegt, zum Beispiel mit 16 Pixeln Seitenlänge. Jedes Quadrat wird zu einem Vektor, den der Transformer wie ein Token verarbeitet. Damit diese Bild-Tokens eine Bedeutung erhalten, lernt das Modell an sehr vielen Bildern mit ihrer Bildunterschrift. 2021 hat das Modell CLIP so Bilder und die Texte, die sie beschreiben, in einem gemeinsamen Vektorraum zusammengeführt, auf Grundlage von 400 Millionen Paaren.
Die Stimme geht zwei Wege. Oft wird sie zuerst in Text transkribiert und dann wie eine schriftliche Anfrage verarbeitet. Das 2022 veröffentlichte Transkriptionssystem Whisper wurde mit 680 000 Stunden Aufnahmen trainiert. Andere Modelle verarbeiten den Ton direkt als Tokens, was es ihnen ermöglicht, den Tonfall zu erfassen und fast ohne Verzögerung zu antworten.
- Kleine Schrift und dichte Tabellen auf einer gescannten Seite, in denen eine Spalte verrutschen kann.
- Aus einer Grafik gelesene Werte, die Schätzungen nach Augenmass sind, keine Daten.
- Objekte zählen oder ein Element im Bild genau verorten.
- Erfundene Details. Das Modell kann selbstsicher beschreiben, was nicht auf dem Bild ist.
Quellen
- Dosovitskiy, Beyer, Kolesnikov et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR 2021. arxiv.org/abs/2010.11929
- Radford, Kim, Hallacy et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. ICML 2021. arxiv.org/abs/2103.00020
- Radford, Kim, Xu et al. (2023). Robust Speech Recognition via Large-Scale Weak Supervision. ICML 2023. arxiv.org/abs/2212.04356