Documentar los modelos y los datos
Fichas de modelo y fichas de datos: los dos documentos que hay que pedir antes de desplegar un sistema.
ObjetivoSaber qué contiene una ficha de modelo y una ficha de conjunto de datos, y qué buscar en ellas.
En 2019, unos investigadores proponen las fichas de modelo, o model cards. Son documentos breves que describen el uso previsto de un modelo, su rendimiento medido por grupo, sus límites conocidos y los usos desaconsejados. Las fichas de datos, o datasheets, hacen lo mismo con un conjunto de datos: procedencia, composición, recogida, consentimiento y actualizaciones.
Qué buscar en ellas
- El uso previsto y, sobre todo, los usos para los que el modelo no ha sido evaluado.
- Los resultados desglosados por grupo, no solo una media.
- La fecha y la procedencia de los datos.
- Los límites que el propio proveedor reconoce.
Referencias
- Mitchell, Wu, Zaldivar et al. (2019). Model Cards for Model Reporting. Proceedings of FAT* 2019, p. 220–229. doi.org/10.1145/3287560.3287596
- Gebru, Morgenstern, Vecchione et al. (2021). Datasheets for Datasets. Communications of the ACM 64(12), p. 86–92. doi.org/10.1145/3458723