Da dove vengono i bias
I bias di un sistema di IA vengono dai dati, dalle scelte di progettazione e dall’uso. Due studi lo hanno mostrato in modo netto.
ObiettivoIdentificare le tre fonti di bias e illustrarle con casi documentati.
Un sistema di IA impara a partire da esempi. Se gli esempi sono squilibrati, se riflettono disuguaglianze passate o se l’obiettivo scelto misura male ciò che si vuole, il sistema riproduce questi difetti su larga scala, con un’apparenza di neutralità.
Primo caso: dati squilibrati
Nel 2018 lo studio Gender Shades valuta tre sistemi commerciali che classificano il genere a partire da foto. L’errore raggiunge il 34,7 % per le donne con la pelle scura, contro al massimo lo 0,8 % per gli uomini con la pelle chiara. I set di dati utilizzati contenevano in grandissima maggioranza persone con la pelle chiara.
Secondo caso: un obiettivo scelto male
Nel 2019 uno studio pubblicato su Science analizza un algoritmo usato negli Stati Uniti per indirizzare i pazienti verso programmi di cure rafforzate. Stimava il bisogno di cure a partire dalle spese sanitarie passate. Ora, a parità di stato di salute, per i pazienti neri si era speso meno denaro. A parità di punteggio, erano quindi più malati. Correggere l’obiettivo faceva passare la loro quota tra i pazienti indirizzati dal 17,7 % al 46,5 %.
Le tre fonti da verificare
- I dati: chi è rappresentato, chi manca, a quale epoca risalgono.
- L’obiettivo: la grandezza prevista misura davvero ciò che conta?
- L’uso: il sistema è applicato a una popolazione o a una decisione per cui non è stato progettato?
Riferimenti
- Buolamwini, Gebru (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Conference on Fairness, Accountability and Transparency, PMLR 81, p. 77–91. proceedings.mlr.press/v81/buolamwini18a.html
- Obermeyer, Powers, Vogeli et al. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science 366(6464), p. 447–453. doi.org/10.1126/science.aax2342