Documentar os modelos e os dados
Fichas de modelo e fichas de dados: os dois documentos a pedir antes de implementar um sistema.
ObjetivoSaber o que contém uma ficha de modelo e uma ficha de conjunto de dados, e o que procurar nelas.
Em 2019, investigadores propõem as fichas de modelo, ou model cards. São documentos curtos que descrevem o uso previsto de um modelo, o seu desempenho medido por grupo, os seus limites conhecidos e os usos desaconselhados. As fichas de dados, ou datasheets, fazem o mesmo para um conjunto de dados: proveniência, composição, recolha, consentimento e atualizações.
O que procurar nelas
- O uso previsto e, sobretudo, os usos para os quais o modelo não foi avaliado.
- Os resultados desagregados por grupo, não apenas uma média.
- A data e a proveniência dos dados.
- Os limites que o próprio fornecedor reconhece.
Referências
- Mitchell, Wu, Zaldivar et al. (2019). Model Cards for Model Reporting. Proceedings of FAT* 2019, p. 220–229. doi.org/10.1145/3287560.3287596
- Gebru, Morgenstern, Vecchione et al. (2021). Datasheets for Datasets. Communications of the ACM 64(12), p. 86–92. doi.org/10.1145/3458723