A janela de contexto
Tudo o que o modelo consegue ter em conta de uma só vez, e porque é que o meio de um documento longo é a parte mais frágil.
ObjetivoExplicar o que é a janela de contexto e aplicar três regras para lá colocar a informação útil.
O modelo só vê o que está na sua janela de contexto: as suas instruções, o histórico da conversa, os documentos anexados e os resultados das ferramentas. O seu tamanho mede-se em tokens. Para lá disso, é preciso dividir, resumir ou pesquisar.
Uma janela maior não significa uma leitura uniforme. Um estudo de 2024 mediu que os modelos encontram melhor uma informação colocada no início ou no fim de um contexto longo do que no meio. Os autores chamaram-lhe «perdido no meio».
Três regras práticas
- Coloque a instrução e a pergunta no fim, depois dos documentos, para que estejam frescas no momento de responder.
- Anexe os excertos úteis em vez de uma pasta inteira. Menos ruído, menos esquecimento.
- Numa conversa longa, peça um ponto de situação resumido e depois recomece a partir desse resumo.
Referências
- Liu, Lin, Hewitt et al. (2024). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the ACL 12, p. 157–173. doi.org/10.1162/tacl_a_00638