Evaluar un sistema con sus propios casos

Las clasificaciones públicas comparan los modelos con pruebas generales. Dicen poco sobre la forma en que un asistente tratará sus contratos, sus procedimientos o las preguntas de sus clientes. Los investigadores del proyecto HELM abogaron, de hecho, por una evaluación en numerosos escenarios y con varios criterios a la vez: exactitud, robustez, equidad, coste.

1. Reúna una veintena de peticiones reales y variadas, incluidos casos difíciles.
2. Para cada una, escriba la respuesta esperada o los puntos que debe contener.
3. Añada dos o tres casos cuya respuesta no se encuentre en las fuentes, para verificar que el asistente lo dice.
4. Pase los casos y califique cada respuesta: correcta, parcial, errónea o rechazo justificado.

Este conjunto de casos se convierte en su herramienta de control. Cuando cambie las instrucciones de un asistente, añada una fuente o pase a otro modelo, vuelva a pasar los mismos casos y compare. Una mejora en un punto no debe estropear otro.