Lektion 7 von 7 · 9 Min.
Ein System an den eigenen Fällen evaluieren
Eine öffentliche Rangliste sagt nicht, ob ein Assistent Ihre Arbeit gut erledigen wird. Ein kleiner Satz realer Fälle sagt es.
Öffentliche Ranglisten vergleichen Modelle anhand allgemeiner Tests. Sie sagen wenig darüber, wie ein Assistent Ihre Verträge, Ihre Abläufe oder die Fragen Ihrer Kundschaft behandeln wird. Die Forschenden des Projekts HELM haben übrigens für eine Evaluation über zahlreiche Szenarien und mehrere Kriterien zugleich plädiert: Genauigkeit, Robustheit, Fairness, Kosten.
- Sammeln Sie rund zwanzig reale und vielfältige Anfragen, auch schwierige Fälle.
- Schreiben Sie zu jeder die erwartete Antwort oder die Punkte auf, die sie enthalten muss.
- Fügen Sie zwei oder drei Fälle hinzu, deren Antwort nicht in den Quellen steht, um zu prüfen, ob der Assistent das sagt.
- Lassen Sie die Fälle durchlaufen und bewerten Sie jede Antwort: richtig, teilweise richtig, falsch oder begründete Ablehnung.
Dieser Satz von Fällen wird zu Ihrem Kontrollinstrument. Wenn Sie die Anweisungen eines Assistenten ändern, eine Quelle hinzufügen oder zu einem anderen Modell wechseln, lassen Sie dieselben Fälle erneut durchlaufen und vergleichen. Eine Verbesserung in einem Punkt darf keinen anderen verschlechtern.
Quellen
- Liang, Bommasani, Lee et al. (2022). Holistic Evaluation of Language Models. Transactions on Machine Learning Research. arxiv.org/abs/2211.09110