La fenêtre de contexte
Tout ce que le modèle peut prendre en compte d’un coup, et pourquoi le milieu d’un long document est le plus fragile.
ZielExpliquer ce qu’est la fenêtre de contexte et appliquer trois règles pour y placer l’information utile.
Le modèle ne voit que ce qui se trouve dans sa fenêtre de contexte : vos consignes, l’historique de la conversation, les documents joints et les résultats des outils. Sa taille se mesure en jetons. Au-delà, il faut découper, résumer ou chercher.
Une fenêtre plus grande ne veut pas dire une lecture uniforme. Une étude de 2024 a mesuré que les modèles retrouvent mieux une information placée au début ou à la fin d’un long contexte qu’au milieu. Les auteurs l’ont appelé « perdu au milieu ».
Trois règles pratiques
- Placez la consigne et la question à la fin, après les documents, pour qu’elles soient fraîches au moment de répondre.
- Joignez les passages utiles plutôt qu’un dossier entier. Moins de bruit, moins d’oubli.
- Pour une longue conversation, demandez un point d’étape résumé, puis repartez de ce résumé.
Quellen
- Liu, Lin, Hewitt et al. (2024). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the ACL 12, p. 157–173. doi.org/10.1162/tacl_a_00638