Nutzung und Qualität messen
Verfolgen, wer den Assistenten wofür nutzt und ob seine Antworten stimmen.
ZielAm Ende dieser Lektion können Sie Nutzung und Qualität eines Assistenten getrennt messen, mit der Ansicht Team, einem Testset und den abgelehnten Freigaben.
Ein in Betrieb genommener Assistent ist nicht fertig. Sie müssen wissen, ob er genutzt wird und ob er gut antwortet. Das sind zwei verschiedene Messgrössen: Ein Assistent kann stark genutzt und mittelmässig oder ausgezeichnet und ignoriert sein.
Die Nutzung messen
Die Ansicht «Team», die Administratoren zugänglich ist, zeigt die Nutzung pro Mitglied: die Ausführungen des Tages, der Woche und des Monats, die verbrauchten Token und den Speicher. Wenn Sie kein Administrator sind, verlangen Sie diese Übersicht einmal pro Monat. Eine geringe Nutzung verlangt nach einem Gespräch, nicht nach einer Sanktion: Vielleicht war die Aufgabe schlecht gewählt.
Die Qualität messen
- Das Testset: Spielen Sie die Fragen aus dem Workshop bei jeder Änderung erneut durch und vergleichen Sie.
- Die abgelehnten Freigaben: Jede Ablehnung weist auf einen Vorschlag hin, der nicht passte.
- Die Korrekturen: Notieren Sie, was die Nutzerinnen und Nutzer von Hand nachbessern.
- Die direkten Rückmeldungen: Verlangen Sie jeden Monat drei Beispiele für gute und schlechte Antworten.
- Bewahren Sie das Testset in einem Dokument des Projekts auf, mit der erwarteten Antwort zu jeder Frage.
- Spielen Sie die Fragen nach jeder Änderung der Anweisungen in einer neuen Unterhaltung erneut durch.
- Fügen Sie die beiden Antwortreihen bei und verlangen Sie den Vergleich.
- Öffnen Sie die Ansicht «Aktivität», um die abgelehnten Freigaben des Monats nachzulesen.
- Halten Sie die Erkenntnisse in einem datierten Dokument fest, das mit dem Team geteilt ist.
Für einen Assistenten, der schult, ist die direkteste Messgrösse das Behalten des Gelernten. Festigungskampagnen, die an eine Kohorte gesendet werden, messen, was jede Person langfristig behalten hat. Ein Begriff, den die ganze Kohorte schlecht behalten hat, weist oft auf eine Erklärung hin, die überarbeitet werden sollte.