Lezione 7 di 7 · 9 min
Valutare un sistema sui propri casi
Una classifica pubblica non dice se un assistente farà bene il vostro lavoro. Un piccolo insieme di casi reali lo dice.
Le classifiche pubbliche confrontano i modelli su test generali. Dicono poco sul modo in cui un assistente tratterà i vostri contratti, le vostre procedure o le domande dei vostri clienti. I ricercatori del progetto HELM hanno del resto sostenuto una valutazione su numerosi scenari e su più criteri insieme: accuratezza, robustezza, equità, costo.
- Raccogliete una ventina di richieste reali e varie, compresi alcuni casi difficili.
- Per ciascuna, scrivete la risposta attesa o i punti che deve contenere.
- Aggiungete due o tre casi la cui risposta non si trova nelle fonti, per verificare che l’assistente lo dica.
- Sottoponete i casi e valutate ogni risposta: corretta, parziale, sbagliata, o rifiuto giustificato.
Questo insieme di casi diventa il vostro strumento di controllo. Quando cambiate le istruzioni di un assistente, aggiungete una fonte o passate a un altro modello, rilanciate gli stessi casi e confrontate. Un miglioramento su un punto non deve peggiorarne un altro.
Riferimenti
- Liang, Bommasani, Lee et al. (2022). Holistic Evaluation of Language Models. Transactions on Machine Learning Research. arxiv.org/abs/2211.09110