Medir el uso y la calidad
Saber quién usa el asistente, para qué, y si sus respuestas son correctas.
ObjetivoAl final de esta lección, sabrá medir por separado el uso y la calidad de un asistente, con la pantalla Equipo, un conjunto de pruebas y las aprobaciones rechazadas.
Un asistente puesto en servicio no está terminado. Hay que saber si se usa y si responde bien. Son dos medidas distintas: un asistente puede ser muy usado y mediocre, o excelente e ignorado.
Medir el uso
La pantalla «Equipo», accesible a los administradores, muestra el uso por miembro: las ejecuciones del día, de la semana y del mes, los tokens consumidos y el almacenamiento. Si usted no es administrador, pida este informe una vez al mes. Un uso bajo requiere una conversación, no una sanción. Quizá la tarea estaba mal elegida.
Medir la calidad
- El conjunto de pruebas: repita las preguntas del taller en cada modificación y compare.
- Las aprobaciones rechazadas: cada rechazo indica una propuesta que no era adecuada.
- Las correcciones: anote lo que los usuarios rehacen a mano.
- Los comentarios directos: pida cada mes tres ejemplos de respuesta buena y de respuesta mala.
- Guarde el conjunto de pruebas en un documento del proyecto, con la respuesta esperada para cada pregunta.
- Después de cada modificación de las instrucciones, repita las preguntas en una nueva conversación.
- Adjunte las dos series de respuestas y pida la comparación.
- Abra la pantalla «Actividad» para revisar las aprobaciones rechazadas del mes.
- Registre las conclusiones en un documento fechado, compartido con el equipo.
Para un asistente que forma, la medida más directa es la retención. Las campañas de refuerzo enviadas a una cohorte miden lo que cada persona ha retenido a lo largo del tiempo. Una noción mal retenida por toda la cohorte suele indicar una explicación que hay que revisar.