Leçon 8 sur 10 · 7 min
Les biais
Vous savez d’où viennent les biais d’un modèle et comment les repérer dans un texte qui concerne des personnes.
Un modèle apprend sur d’immenses quantités de textes écrits par des humains. Il en apprend aussi les déséquilibres. Il peut associer un métier à un genre, décrire une région à travers des clichés ou mieux connaître les situations les plus présentes dans ses données. Ce n’est pas une intention. C’est un reflet, que la fluidité du texte rend difficile à voir.
- Les offres d’emploi et les descriptions de poste.
- Les évaluations, les appréciations et les recommandations sur une personne.
- Les exemples et les personnages d’un support de formation.
- Les textes sur des groupes, des pays ou des cultures que vous connaissez peu.
Moins efficace
Rédige une offre d’emploi pour un poste de chef d’équipe en logistique.
Plus efficace
Rédige une offre d’emploi pour un poste de chef ou cheffe d’équipe en logistique. Décris les tâches et les compétences attendues plutôt qu’un profil de personnalité. Signale toute formule qui pourrait décourager une partie des candidates et des candidats.
Vous décrivez le poste plutôt que la personne imaginée, et vous demandez au modèle de pointer ses propres formules à risque.
Ces biais ont été mesurés à grande échelle. Des systèmes commerciaux de reconnaissance faciale se trompaient bien plus souvent sur les femmes à la peau foncée que sur les hommes à la peau claire. Les modèles de langage héritent de la même façon des déséquilibres de leurs textes d’entraînement.
Références
- Bender, Gebru, McMillan-Major, Shmitchell (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. Proceedings of ACM FAccT 2021, p. 610–623. doi.org/10.1145/3442188.3445922
- Buolamwini, Gebru (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Conference on Fairness, Accountability and Transparency, PMLR 81, p. 77–91. proceedings.mlr.press/v81/buolamwini18a.html