Mesurer l’usage et la qualité
Suivre qui utilise l’assistant, pour quoi faire, et si ses réponses sont justes.
ObiettivoÀ la fin de cette leçon, vous saurez mesurer séparément l’usage et la qualité d’un assistant, avec l’écran Équipe, un jeu de test et les approbations refusées.
Un assistant mis en service n’est pas terminé. Il faut savoir s’il est utilisé et s’il répond bien. Ce sont deux mesures différentes : un assistant peut être très utilisé et médiocre, ou excellent et ignoré.
Mesurer l’usage
L’écran « Équipe », accessible aux administrateurs, montre l’usage par membre : les exécutions du jour, de la semaine et du mois, les jetons consommés et le stockage. Si vous n’êtes pas administrateur, demandez ce relevé une fois par mois. Un usage faible appelle une conversation, pas une sanction : la tâche était peut-être mal choisie.
Mesurer la qualité
- Le jeu de test : rejouez les questions de l’atelier à chaque modification et comparez.
- Les refus d’approbation : chaque refus signale une proposition qui ne convenait pas.
- Les corrections : notez ce que les utilisateurs reprennent à la main.
- Les retours directs : demandez chaque mois trois exemples de bonne et de mauvaise réponse.
- Gardez le jeu de test dans un document du projet, avec la réponse attendue pour chaque question.
- Après chaque modification des consignes, rejouez les questions dans une nouvelle conversation.
- Joignez les deux séries de réponses et demandez la comparaison.
- Ouvrez l’écran « Activité » pour relire les approbations refusées du mois.
- Consignez les constats dans un document daté, partagé avec l’équipe.
Pour un assistant qui forme, la mesure la plus directe est la rétention. Les campagnes de renforcement envoyées à une cohorte mesurent ce que chaque personne a retenu dans la durée. Une notion mal retenue par toute la cohorte signale souvent une explication à revoir.