Documenter les modèles et les données
Fiches de modèle et fiches de données : les deux documents à demander avant de déployer un système.
ObjetivoSavoir ce que contient une fiche de modèle et une fiche de jeu de données, et quoi y chercher.
En 2019, des chercheurs proposent les fiches de modèle, ou model cards. Ce sont des documents courts qui décrivent l’usage prévu d’un modèle, ses performances mesurées par groupe, ses limites connues et les usages déconseillés. Les fiches de données, ou datasheets, font de même pour un jeu de données : provenance, composition, collecte, consentement et mises à jour.
Ce qu’il faut y chercher
- L’usage prévu, et surtout les usages pour lesquels le modèle n’a pas été évalué.
- Les résultats ventilés par groupe, pas seulement une moyenne.
- La date et la provenance des données.
- Les limites que l’éditeur reconnaît lui-même.
Referencias
- Mitchell, Wu, Zaldivar et al. (2019). Model Cards for Model Reporting. Proceedings of FAT* 2019, p. 220–229. doi.org/10.1145/3287560.3287596
- Gebru, Morgenstern, Vecchione et al. (2021). Datasheets for Datasets. Communications of the ACM 64(12), p. 86–92. doi.org/10.1145/3458723