Woher Verzerrungen stammen

Ein KI-System lernt aus Beispielen. Sind die Beispiele unausgewogen, spiegeln sie vergangene Ungleichheiten wider oder misst das gewählte Ziel schlecht, was man eigentlich will, dann reproduziert das System diese Mängel in grossem Massstab, mit dem Anschein von Neutralität.

Erster Fall: unausgewogene Daten

2018 untersucht die Studie Gender Shades drei kommerzielle Systeme, die das Geschlecht anhand von Fotos klassifizieren. Der Fehler erreicht 34,7 % bei Frauen mit dunkler Haut, gegenüber höchstens 0,8 % bei Männern mit heller Haut. Die verwendeten Datensätze enthielten ganz überwiegend Personen mit heller Haut.

Zweiter Fall: ein schlecht gewähltes Ziel

2019 analysiert eine in Science veröffentlichte Studie einen Algorithmus, der in den Vereinigten Staaten Patientinnen und Patienten an Programme für intensivere Betreuung verweist. Er schätzte den Behandlungsbedarf anhand der bisherigen Gesundheitsausgaben. Bei gleichem Gesundheitszustand war jedoch für Schwarze Patientinnen und Patienten weniger Geld ausgegeben worden. Bei gleichem Score waren sie also kränker. Wurde das Ziel korrigiert, stieg ihr Anteil unter den verwiesenen Patientinnen und Patienten von 17,7 % auf 46,5 %.

Die drei Quellen, die zu prüfen sind

• Die Daten: Wer ist vertreten, wer fehlt, aus welcher Zeit stammen sie.
• Das Ziel: Misst die vorhergesagte Grösse wirklich, worauf es ankommt.
• Die Nutzung: Wird das System auf eine Bevölkerungsgruppe oder eine Entscheidung angewendet, für die es nicht entwickelt wurde.