La finestra di contesto
Tutto ciò che il modello può considerare in una volta, e perché la parte centrale di un lungo documento è la più fragile.
ObiettivoSpiegare cos’è la finestra di contesto e applicare tre regole per collocarvi l’informazione utile.
Il modello vede soltanto ciò che si trova nella sua finestra di contesto: le vostre istruzioni, la cronologia della conversazione, i documenti allegati e i risultati degli strumenti. La sua dimensione si misura in token. Oltre quel limite, bisogna suddividere, riassumere o cercare.
Una finestra più grande non significa una lettura uniforme. Uno studio del 2024 ha misurato che i modelli ritrovano meglio un’informazione posta all’inizio o alla fine di un lungo contesto che al centro. Gli autori lo hanno chiamato «Lost in the Middle», perso nel mezzo.
Tre regole pratiche
- Collocate l’istruzione e la domanda alla fine, dopo i documenti, perché siano fresche al momento di rispondere.
- Allegate i passaggi utili piuttosto che un’intera cartella. Meno rumore, meno dimenticanze.
- Per una lunga conversazione, chiedete un riepilogo della situazione, poi ripartite da quel riepilogo.
Riferimenti
- Liu, Lin, Hewitt et al. (2024). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the ACL 12, p. 157–173. doi.org/10.1162/tacl_a_00638