Misurare l’utilizzo e la qualità
Seguire chi usa l’assistente, per fare cosa, e se le sue risposte sono corrette.
ObiettivoAlla fine di questa lezione saprete misurare separatamente l’utilizzo e la qualità di un assistente, con la schermata Team, un set di test e le approvazioni rifiutate.
Un assistente messo in servizio non è finito. Bisogna sapere se viene usato e se risponde bene. Sono due misure diverse: un assistente può essere molto usato e mediocre, oppure eccellente e ignorato.
Misurare l’utilizzo
La schermata «Team», accessibile agli amministratori, mostra l’utilizzo per membro: le esecuzioni del giorno, della settimana e del mese, i token consumati e lo spazio di archiviazione. Se non siete amministratori, chiedete questo rilevamento una volta al mese. Un utilizzo scarso richiede una conversazione, non una sanzione: forse l’attività era scelta male.
Misurare la qualità
- Il set di test: ripetete le domande del workshop a ogni modifica e confrontate.
- I rifiuti di approvazione: ogni rifiuto segnala una proposta che non andava bene.
- Le correzioni: annotate ciò che gli utenti riprendono a mano.
- I riscontri diretti: chiedete ogni mese tre esempi di risposta buona e di risposta cattiva.
- Conservate il set di test in un documento del progetto, con la risposta attesa per ogni domanda.
- Dopo ogni modifica delle istruzioni, ripetete le domande in una nuova conversazione.
- Allegate le due serie di risposte e chiedete il confronto.
- Aprite la schermata «Attività» per rileggere le approvazioni rifiutate del mese.
- Registrate le constatazioni in un documento datato, condiviso con il team.
Per un assistente che forma, la misura più diretta è la ritenzione. Le campagne di rinforzo inviate a una coorte misurano ciò che ogni persona ha ritenuto nel tempo. Un concetto ritenuto male da tutta la coorte segnala spesso una spiegazione da rivedere.