Lektion 8 von 10 · 7 Min.
Verzerrungen
Sie wissen, woher die Verzerrungen eines Modells kommen und wie Sie sie in einem Text erkennen, der Personen betrifft.
Ein Modell lernt aus riesigen Mengen von Texten, die Menschen geschrieben haben. Es lernt dabei auch deren Ungleichgewichte. Es kann einen Beruf mit einem Geschlecht verbinden, eine Region über Klischees beschreiben oder die Situationen besser kennen, die in seinen Daten am häufigsten vorkommen. Das ist keine Absicht. Es ist ein Spiegelbild, das der flüssige Text schwer erkennbar macht.
- Stelleninserate und Stellenbeschreibungen.
- Beurteilungen, Einschätzungen und Empfehlungen zu einer Person.
- Die Beispiele und Figuren einer Schulungsunterlage.
- Texte über Gruppen, Länder oder Kulturen, die Sie wenig kennen.
Weniger wirksam
Verfasse ein Stelleninserat für eine Stelle als Teamleiter in der Logistik.
Wirksamer
Verfasse ein Stelleninserat für eine Stelle als Teamleiterin oder Teamleiter in der Logistik. Beschreibe die Aufgaben und die erwarteten Kompetenzen statt eines Persönlichkeitsprofils. Weise auf jede Formulierung hin, die einen Teil der Kandidatinnen und Kandidaten abschrecken könnte.
Sie beschreiben die Stelle statt der vorgestellten Person, und Sie bitten das Modell, auf seine eigenen riskanten Formulierungen hinzuweisen.
Diese Verzerrungen wurden in grossem Massstab gemessen. Kommerzielle Gesichtserkennungssysteme irrten sich bei Frauen mit dunkler Haut viel häufiger als bei Männern mit heller Haut. Sprachmodelle übernehmen auf dieselbe Weise die Ungleichgewichte ihrer Trainingstexte.
Quellen
- Bender, Gebru, McMillan-Major, Shmitchell (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. Proceedings of ACM FAccT 2021, p. 610–623. doi.org/10.1145/3442188.3445922
- Buolamwini, Gebru (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Conference on Fairness, Accountability and Transparency, PMLR 81, p. 77–91. proceedings.mlr.press/v81/buolamwini18a.html