Lição 8 de 10 · 7 min
Os enviesamentos
Sabe de onde vêm os enviesamentos de um modelo e como os identificar num texto que diz respeito a pessoas.
Um modelo aprende com quantidades imensas de textos escritos por humanos. Aprende também os seus desequilíbrios. Pode associar uma profissão a um género, descrever uma região através de clichés ou conhecer melhor as situações mais presentes nos seus dados. Não é uma intenção. É um reflexo, que a fluidez do texto torna difícil de ver.
- Os anúncios de emprego e as descrições de funções.
- As avaliações, as apreciações e as recomendações sobre uma pessoa.
- Os exemplos e as personagens de um material de formação.
- Os textos sobre grupos, países ou culturas que conhece mal.
Menos eficaz
Redige um anúncio de emprego para um posto de chefe de equipa em logística.
Mais eficaz
Redige um anúncio de emprego para um posto de chefe de equipa em logística, aberto a mulheres e homens. Descreve as tarefas e as competências esperadas em vez de um perfil de personalidade. Assinala qualquer formulação que possa desencorajar uma parte das candidatas e dos candidatos.
Descreve o posto em vez da pessoa imaginada, e pede ao modelo que aponte as suas próprias formulações de risco.
Estes enviesamentos foram medidos em grande escala. Sistemas comerciais de reconhecimento facial enganavam-se muito mais vezes com mulheres de pele escura do que com homens de pele clara. Os modelos de linguagem herdam da mesma forma os desequilíbrios dos seus textos de treino.
Referências
- Bender, Gebru, McMillan-Major, Shmitchell (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. Proceedings of ACM FAccT 2021, p. 610–623. doi.org/10.1145/3442188.3445922
- Buolamwini, Gebru (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Conference on Fairness, Accountability and Transparency, PMLR 81, p. 77–91. proceedings.mlr.press/v81/buolamwini18a.html