Das Kontextfenster
Alles, was das Modell auf einmal berücksichtigen kann, und warum die Mitte eines langen Dokuments am anfälligsten ist.
ZielErklären, was das Kontextfenster ist, und drei Regeln anwenden, um die nützlichen Informationen darin zu platzieren.
Das Modell sieht nur, was in seinem Kontextfenster steht: Ihre Anweisungen, den Verlauf der Unterhaltung, die angehängten Dokumente und die Ergebnisse der Werkzeuge. Seine Grösse wird in Tokens gemessen. Darüber hinaus muss man aufteilen, zusammenfassen oder suchen.
Ein grösseres Fenster bedeutet nicht, dass gleichmässig gelesen wird. Eine Studie von 2024 hat gemessen, dass Modelle eine Information am Anfang oder am Ende eines langen Kontexts besser wiederfinden als in der Mitte. Die Autoren nannten das «Lost in the Middle».
Drei praktische Regeln
- Setzen Sie die Anweisung und die Frage ans Ende, nach den Dokumenten, damit sie beim Antworten frisch sind.
- Hängen Sie die relevanten Abschnitte an statt eines ganzen Dossiers. Weniger Rauschen, weniger Vergessen.
- Bitten Sie in einer langen Unterhaltung um eine Zwischenzusammenfassung und machen Sie dann von dieser Zusammenfassung aus weiter.
Quellen
- Liu, Lin, Hewitt et al. (2024). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the ACL 12, p. 157–173. doi.org/10.1162/tacl_a_00638