Mesurer et corriger un biais
L’équité se mesure, mais il existe plusieurs définitions, parfois incompatibles entre elles.
ObjetivoDistinguer plusieurs définitions de l’équité et choisir celle qui convient à une décision donnée.
Dire qu’un système est équitable demande de préciser envers qui et selon quel critère. Faut-il le même taux d’acceptation dans chaque groupe, le même taux d’erreur, ou la même fiabilité d’un score quel que soit le groupe ? Les travaux de référence montrent que ces critères ne peuvent en général pas être satisfaits tous à la fois.
- Parité des décisions : chaque groupe reçoit la même proportion de réponses positives.
- Égalité des erreurs : les faux positifs et les faux négatifs sont aussi fréquents dans chaque groupe.
- Calibration : un même score signifie le même risque réel, quel que soit le groupe.
Le choix est donc une décision humaine, liée au contexte. Pour un dépistage médical, rater un cas est plus grave qu’une fausse alerte. Pour une sanction, c’est l’inverse.
Referências
- Barocas, Hardt, Narayanan (2023). Fairness and Machine Learning: Limitations and Opportunities. MIT Press. fairmlbook.org/