Pesquisar antes de responder: a pesquisa aumentada
O princípio que permite a um modelo responder a partir dos seus documentos e citar as suas fontes.
ObjetivoDescrever as etapas de uma pesquisa aumentada e identificar onde pode falhar.
Um modelo não conhece os seus contratos nem os seus procedimentos. A pesquisa aumentada, ou RAG, traz-lhe esses conhecimentos no momento de responder. O princípio foi formalizado em 2020: procuram-se primeiro os excertos pertinentes e depois entregam-se ao modelo juntamente com a pergunta.
- Pergunta«O que diz o nosso contrato sobre a rescisão?»
- PesquisaAs passagens mais próximas são encontradas nos seus documentos.
- ContextoEssas passagens são colocadas antes da pergunta.
- RespostaO modelo responde citando as passagens utilizadas.
Esta montagem reduz as invenções, porque a resposta se apoia num texto presente no contexto, e permite citar a fonte. É assim que funcionam as respostas do Learnya sobre os seus documentos e sobre a web.
Onde pode falhar
- A pesquisa traz o excerto errado. A resposta será então fiel a um texto fora do tema.
- O excerto certo é encontrado mas mal recortado, e falta a frase decisiva.
- O modelo mistura o excerto com os seus próprios conhecimentos. Uma revisão de 2023 sobre as alucinações classifica este caso entre os mais frequentes.
Referências
- Lewis, Perez, Piktus et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems 33, p. 9459–9474. arxiv.org/abs/2005.11401
- Ji, Lee, Frieske et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys 55(12), p. 1–38. doi.org/10.1145/3571730