Modelle und Daten dokumentieren
Modellkarten und Datenblätter: die zwei Dokumente, die Sie vor dem Einsatz eines Systems verlangen sollten.
ZielWissen, was eine Modellkarte und ein Datenblatt zu einem Datensatz enthalten und worauf man darin achten muss.
2019 schlagen Forschende Modellkarten vor, sogenannte Model Cards. Das sind kurze Dokumente, die die vorgesehene Nutzung eines Modells beschreiben, seine nach Gruppen gemessene Leistung, seine bekannten Grenzen und die Nutzungen, von denen abgeraten wird. Datenblätter, sogenannte Datasheets, tun dasselbe für einen Datensatz: Herkunft, Zusammensetzung, Erhebung, Einwilligung und Aktualisierungen.
Worauf Sie achten sollten
- Die vorgesehene Nutzung und vor allem die Nutzungen, für die das Modell nicht evaluiert wurde.
- Die nach Gruppen aufgeschlüsselten Ergebnisse, nicht nur ein Durchschnitt.
- Das Datum und die Herkunft der Daten.
- Die Grenzen, die der Anbieter selbst einräumt.
Quellen
- Mitchell, Wu, Zaldivar et al. (2019). Model Cards for Model Reporting. Proceedings of FAT* 2019, p. 220–229. doi.org/10.1145/3287560.3287596
- Gebru, Morgenstern, Vecchione et al. (2021). Datasheets for Datasets. Communications of the ACM 64(12), p. 86–92. doi.org/10.1145/3458723