De onde vêm os enviesamentos

Um sistema de IA aprende a partir de exemplos. Se os exemplos forem desequilibrados, se refletirem desigualdades passadas ou se o objetivo escolhido medir mal o que se pretende, o sistema reproduz esses defeitos em grande escala, com uma aparência de neutralidade.

Primeiro caso: dados desequilibrados

Em 2018, o estudo Gender Shades avalia três sistemas comerciais de classificação do género a partir de fotografias. O erro atinge 34,7 % para as mulheres de pele escura, contra no máximo 0,8 % para os homens de pele clara. Os conjuntos de dados utilizados eram compostos, em larga maioria, por pessoas de pele clara.

Segundo caso: um objetivo mal escolhido

Em 2019, um estudo publicado na Science analisa um algoritmo utilizado nos Estados Unidos para encaminhar doentes para programas de cuidados reforçados. Estimava a necessidade de cuidados a partir das despesas de saúde passadas. Ora, com o mesmo estado de saúde, tinha sido gasto menos dinheiro com os doentes negros. Com a mesma pontuação, estavam portanto mais doentes. Corrigir o objetivo fazia passar a sua proporção entre os doentes encaminhados de 17,7 % para 46,5 %.

As três fontes a verificar

• Os dados: quem está representado, quem falta, de que época datam.
• O objetivo: a grandeza prevista mede realmente o que importa?
• O uso: o sistema está a ser aplicado a uma população ou a uma decisão para a qual não foi concebido?