D’où viennent les biais

Un système d’IA apprend à partir d’exemples. Si les exemples sont déséquilibrés, s’ils reflètent des inégalités passées ou si l’objectif choisi mesure mal ce qu’on veut, le système reproduit ces défauts à grande échelle, avec une apparence de neutralité.

Premier cas : des données déséquilibrées

En 2018, l’étude Gender Shades évalue trois systèmes commerciaux de classification du genre à partir de photos. L’erreur atteint 34,7 % pour les femmes à la peau foncée, contre au plus 0,8 % pour les hommes à la peau claire. Les jeux de données utilisés comptaient très majoritairement des personnes à la peau claire.

Second cas : un objectif mal choisi

En 2019, une étude publiée dans Science analyse un algorithme utilisé aux États-Unis pour orienter des patients vers des programmes de soins renforcés. Il estimait le besoin de soins à partir des dépenses de santé passées. Or, à état de santé égal, moins d’argent avait été dépensé pour les patients noirs. À score égal, ils étaient donc plus malades. Corriger l’objectif faisait passer leur part parmi les patients orientés de 17,7 % à 46,5 %.

Les trois sources à vérifier

• Les données : qui est représenté, qui manque, de quelle époque datent-elles.
• L’objectif : la grandeur prédite mesure-t-elle vraiment ce qui compte.
• L’usage : le système est-il appliqué à une population ou une décision pour laquelle il n’a pas été conçu.