Lezione 8 di 10 · 7 min
I bias
Sapete da dove vengono i bias di un modello e come individuarli in un testo che riguarda delle persone.
Un modello impara su immense quantità di testi scritti da esseri umani. Ne impara anche gli squilibri. Può associare un mestiere a un genere, descrivere una regione attraverso cliché o conoscere meglio le situazioni più presenti nei suoi dati. Non è un’intenzione. È un riflesso, che la fluidità del testo rende difficile da vedere.
- Gli annunci di lavoro e le descrizioni delle posizioni.
- Le valutazioni, i giudizi e le raccomandazioni su una persona.
- Gli esempi e i personaggi di un materiale di formazione.
- I testi su gruppi, paesi o culture che conoscete poco.
Meno efficace
Scrivi un annuncio di lavoro per un capo squadra nella logistica.
Più efficace
Scrivi un annuncio di lavoro per una o un capo squadra nella logistica. Descrivi i compiti e le competenze attese piuttosto che un profilo di personalità. Segnala ogni formulazione che potrebbe scoraggiare una parte delle candidate e dei candidati.
Descrivete la posizione piuttosto che la persona immaginata, e chiedete al modello di indicare le proprie formulazioni a rischio.
Questi bias sono stati misurati su larga scala. Alcuni sistemi commerciali di riconoscimento facciale sbagliavano molto più spesso sulle donne dalla pelle scura che sugli uomini dalla pelle chiara. I modelli linguistici ereditano allo stesso modo gli squilibri dei loro testi di addestramento.
Riferimenti
- Bender, Gebru, McMillan-Major, Shmitchell (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. Proceedings of ACM FAccT 2021, p. 610–623. doi.org/10.1145/3442188.3445922
- Buolamwini, Gebru (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Conference on Fairness, Accountability and Transparency, PMLR 81, p. 77–91. proceedings.mlr.press/v81/buolamwini18a.html