Na semana passada, a recém-eleita deputada norte-americana Alexandria Ocasio-Cortez ganhou as manchetes quando disse, como parte do quarto evento anual do MLK Now, que tecnologias e algoritmos de reconhecimento facial "sempre têm essas desigualdades raciais que são traduzidas, porque os algoritmos ainda são feitos por seres humanos, e esses algoritmos ainda estão atrelados a suposições humanas básicas. Eles são apenas automatizados. E suposições automatizadas - se você não corrigir o viés, estará automatizando o viés ".
Isso significa que algoritmos, teoricamente baseados nas verdades objetivas da matemática, podem ser "racistas?" E se sim, o que pode ser feito para remover esse viés?
Acontece que a saída dos algoritmos pode realmente produzir resultados tendenciosos. Os cientistas de dados dizem que programas de computador, redes neurais, algoritmos de aprendizado de máquina e inteligência artificial (IA) funcionam porque aprendem a se comportar a partir dos dados fornecidos. O software é escrito por humanos, que têm preconceito, e os dados de treinamento também são gerados por humanos que têm preconceito.
Os dois estágios do aprendizado de máquina mostram como esse viés pode se transformar em um processo aparentemente automatizado. No primeiro estágio, o estágio de treinamento, um algoritmo aprende com base em um conjunto de dados ou em certas regras ou restrições. O segundo estágio é o estágio de inferência, no qual um algoritmo aplica o que aprendeu na prática. Este segundo estágio revela os vieses de um algoritmo. Por exemplo, se um algoritmo é treinado com fotos de apenas mulheres com cabelos longos, ele pensará que qualquer pessoa com cabelos curtos é homem.
O Google foi criticado em 2015 quando o Google Fotos rotulou os negros de gorilas, provavelmente porque esses eram os únicos seres de pele escura no conjunto de treinamento.
E o preconceito pode surgir através de muitas avenidas. "Um erro comum é treinar um algoritmo para fazer previsões com base em decisões passadas de seres humanos tendenciosos", disse à Live Science Sophie Searcy, cientista sênior de dados no campo de treinamento de treinamento em ciência de dados Metis. "Se eu criar um algoritmo para automatizar decisões anteriormente tomadas por um grupo de agentes de crédito, posso seguir o caminho mais fácil e treinar o algoritmo nas decisões passadas desses agentes de crédito. Mas, é claro, se esses agentes de crédito forem tendenciosos, então o algoritmo que eu criar continuará com esses preconceitos ".
Searcy citou o exemplo do COMPAS, uma ferramenta preditiva usada em todo o sistema de justiça criminal dos EUA para sentenciar, que tenta prever onde o crime ocorrerá. O ProPublica realizou uma análise no COMPAS e constatou que, após controlar outras explicações estatísticas, a ferramenta superestimou o risco de reincidência de réus negros e subestimou consistentemente o risco de réus brancos.
Para ajudar a combater preconceitos algorítmicos, Searcy disse à Live Science, engenheiros e cientistas de dados devem criar conjuntos de dados mais diversificados para novos problemas, além de tentar entender e mitigar o preconceito incorporado aos conjuntos de dados existentes.
Em primeiro lugar, disse Ira Cohen, cientista de dados da empresa de análise preditiva Anodot, os engenheiros devem ter um conjunto de treinamento com uma representação relativamente uniforme de todos os tipos de população se estiverem treinando um algoritmo para identificar atributos étnicos ou de gênero. "É importante representar exemplos suficientes de cada grupo populacional, mesmo que sejam uma minoria na população em geral", disse Cohen à Live Science. Finalmente, Cohen recomenda verificar vieses em um conjunto de testes que inclua pessoas de todos esses grupos. "Se, para uma determinada corrida, a precisão é estatisticamente significativamente menor do que as outras categorias, o algoritmo pode ter um viés, e eu avaliaria os dados de treinamento que foram usados para isso", disse Cohen ao LiveScience. Por exemplo, se o algoritmo puder identificar corretamente 900 das 1.000 faces brancas, mas detectar corretamente apenas 600 dentre 1.000 faces asiáticas, o algoritmo poderá ter um viés "contra" os asiáticos, acrescentou Cohen.
A remoção do viés pode ser incrivelmente desafiadora para a IA.
Mesmo o Google, considerado um precursor da IA comercial, aparentemente não conseguiu encontrar uma solução abrangente para o seu problema de gorila a partir de 2015. A Wired descobriu que, em vez de encontrar uma maneira de seus algoritmos distinguirem entre pessoas de cor e gorilas, o Google simplesmente bloqueou seus algoritmos de reconhecimento de imagem para identificar gorilas.
O exemplo do Google é um bom lembrete de que o treinamento em software de IA pode ser um exercício difícil, principalmente quando o software não está sendo testado ou treinado por um grupo representativo e diversificado de pessoas.
