Avaliar um sistema com os seus próprios casos

As classificações públicas comparam os modelos em testes gerais. Dizem pouco sobre a forma como um assistente vai tratar os seus contratos, os seus procedimentos ou as perguntas dos seus clientes. Os investigadores do projeto HELM defenderam aliás uma avaliação em numerosos cenários e segundo vários critérios ao mesmo tempo: exatidão, robustez, equidade, custo.

1. Reúna cerca de vinte pedidos reais, variados, incluindo casos difíceis.
2. Para cada um, escreva a resposta esperada ou os pontos que deve conter.
3. Acrescente dois ou três casos cuja resposta não se encontre nas fontes, para verificar que o assistente o diz.
4. Execute os casos e classifique cada resposta: correta, parcial, errada ou recusa justificada.

Este conjunto de casos torna-se a sua ferramenta de controlo. Quando alterar as instruções de um assistente, acrescentar uma fonte ou mudar para outro modelo, volte a executar os mesmos casos e compare. Uma melhoria num ponto não deve estragar outro.