Medir a utilização e a qualidade
Acompanhar quem utiliza o assistente, para quê, e se as suas respostas estão corretas.
ObjetivoNo final desta lição, saberá medir separadamente a utilização e a qualidade de um assistente, com o ecrã Equipa, um conjunto de testes e as aprovações recusadas.
Um assistente em serviço não está terminado. É preciso saber se é utilizado e se responde bem. São duas medidas diferentes: um assistente pode ser muito utilizado e medíocre, ou excelente e ignorado.
Medir a utilização
O ecrã «Equipa», acessível aos administradores, mostra a utilização por membro: as execuções do dia, da semana e do mês, os tokens consumidos e o armazenamento. Se não for administrador, peça este relatório uma vez por mês. Uma utilização fraca pede uma conversa, não uma sanção: talvez a tarefa tenha sido mal escolhida.
Medir a qualidade
- O conjunto de testes: volte a executar as perguntas do workshop a cada alteração e compare.
- As aprovações recusadas: cada recusa assinala uma proposta que não era adequada.
- As correções: registe o que os utilizadores refazem à mão.
- O feedback direto: peça todos os meses três exemplos de boa e de má resposta.
- Guarde o conjunto de testes num documento do projeto, com a resposta esperada para cada pergunta.
- Após cada alteração das instruções, volte a executar as perguntas numa nova conversa.
- Anexe as duas séries de respostas e peça a comparação.
- Abra o ecrã «Atividade» para rever as aprovações recusadas do mês.
- Registe as conclusões num documento datado, partilhado com a equipa.
Para um assistente que forma, a medida mais direta é a retenção. As campanhas de reforço enviadas a uma coorte medem o que cada pessoa reteve ao longo do tempo. Uma noção mal retida por toda a coorte assinala muitas vezes uma explicação a rever.