Leçon 7 sur 7 · 9 min
Évaluer un système sur ses propres cas
Un classement public ne dit pas si un assistant fera bien votre travail. Un petit jeu de cas réels le dit.
Les classements publics comparent les modèles sur des tests généraux. Ils disent peu de chose sur la façon dont un assistant traitera vos contrats, vos procédures ou les questions de vos clients. Les chercheurs du projet HELM ont d’ailleurs plaidé pour une évaluation sur de nombreux scénarios et plusieurs critères à la fois : exactitude, robustesse, équité, coût.
- Rassemblez une vingtaine de demandes réelles, variées, y compris des cas difficiles.
- Pour chacune, écrivez la réponse attendue ou les points qu’elle doit contenir.
- Ajoutez deux ou trois cas dont la réponse ne se trouve pas dans les sources, pour vérifier que l’assistant le dit.
- Faites passer les cas et notez chaque réponse : juste, partielle, fausse, ou refus justifié.
Ce jeu de cas devient votre outil de contrôle. Quand vous changez les consignes d’un assistant, ajoutez une source ou passez à un autre modèle, relancez les mêmes cas et comparez. Une amélioration sur un point ne doit pas en casser un autre.
Références
- Liang, Bommasani, Lee et al. (2022). Holistic Evaluation of Language Models. Transactions on Machine Learning Research. arxiv.org/abs/2211.09110