De dónde vienen los sesgos

Un sistema de IA aprende a partir de ejemplos. Si los ejemplos están desequilibrados, si reflejan desigualdades pasadas o si el objetivo elegido mide mal lo que se busca, el sistema reproduce esos defectos a gran escala, con una apariencia de neutralidad.

Primer caso: datos desequilibrados

En 2018, el estudio Gender Shades evalúa tres sistemas comerciales de clasificación del género a partir de fotos. El error alcanza el 34,7 % para las mujeres de piel oscura, frente a un máximo del 0,8 % para los hombres de piel clara. Los conjuntos de datos utilizados contaban de forma muy mayoritaria con personas de piel clara.

Segundo caso: un objetivo mal elegido

En 2019, un estudio publicado en Science analiza un algoritmo utilizado en Estados Unidos para derivar a pacientes hacia programas de atención reforzada. Estimaba la necesidad de atención a partir del gasto sanitario pasado. Sin embargo, con el mismo estado de salud, se había gastado menos dinero en los pacientes negros. Con la misma puntuación, estaban por tanto más enfermos. Corregir el objetivo hacía pasar su proporción entre los pacientes derivados del 17,7 % al 46,5 %.

Las tres fuentes que hay que verificar

• Los datos: quién está representado, quién falta, de qué época son.
• El objetivo: si la magnitud predicha mide de verdad lo que importa.
• El uso: si el sistema se aplica a una población o a una decisión para la que no fue diseñado.