Misurare e correggere un bias
L’equità si misura, ma ne esistono diverse definizioni, talvolta incompatibili tra loro.
ObiettivoDistinguere diverse definizioni di equità e scegliere quella adatta a una determinata decisione.
Dire che un sistema è equo richiede di precisare verso chi e secondo quale criterio. Serve lo stesso tasso di accettazione in ogni gruppo, lo stesso tasso di errore o la stessa affidabilità di un punteggio qualunque sia il gruppo? I lavori di riferimento mostrano che questi criteri, in generale, non possono essere soddisfatti tutti allo stesso tempo.
- Parità delle decisioni: ogni gruppo riceve la stessa proporzione di risposte positive.
- Parità degli errori: i falsi positivi e i falsi negativi sono altrettanto frequenti in ogni gruppo.
- Calibrazione: uno stesso punteggio indica lo stesso rischio reale, qualunque sia il gruppo.
La scelta è quindi una decisione umana, legata al contesto. In uno screening medico, mancare un caso è più grave di un falso allarme. Per una sanzione è il contrario.
Riferimenti
- Barocas, Hardt, Narayanan (2023). Fairness and Machine Learning: Limitations and Opportunities. MIT Press. fairmlbook.org/