Eine Verzerrung messen und korrigieren
Fairness lässt sich messen, aber es gibt mehrere Definitionen, die sich zum Teil gegenseitig ausschliessen.
ZielMehrere Definitionen von Fairness unterscheiden und diejenige wählen, die zu einer bestimmten Entscheidung passt.
Wer sagt, ein System sei fair, muss angeben, gegenüber wem und nach welchem Kriterium. Braucht es in jeder Gruppe dieselbe Annahmequote, dieselbe Fehlerquote oder dieselbe Verlässlichkeit eines Scores, unabhängig von der Gruppe? Die massgeblichen Arbeiten zeigen, dass diese Kriterien in der Regel nicht alle gleichzeitig erfüllt werden können.
- Gleichheit der Entscheidungen: Jede Gruppe erhält denselben Anteil positiver Antworten.
- Gleichheit der Fehler: Falsch positive und falsch negative Ergebnisse sind in jeder Gruppe gleich häufig.
- Kalibrierung: Derselbe Score bedeutet dasselbe tatsächliche Risiko, unabhängig von der Gruppe.
Die Wahl ist also eine menschliche Entscheidung, die vom Kontext abhängt. Bei einem medizinischen Screening wiegt ein übersehener Fall schwerer als ein Fehlalarm. Bei einer Sanktion ist es umgekehrt.
Quellen
- Barocas, Hardt, Narayanan (2023). Fairness and Machine Learning: Limitations and Opportunities. MIT Press. fairmlbook.org/