Quando o robô não reconhece a pele escura

• 0

Quando eu ainda era estudante e tive que usar um software de reconhecimento facial alimentado por inteligência artificial (IA) para um projeto de codificação, o robô que programei não conseguiu reconhecer a pele escura do meu rosto. Tive que emprestar o da menina com quem dividia o quarto, que era branca, para concluí-lo. Mais tarde, em outro trabalho realizado no Laboratório de Mídia do MIT, tive que usar uma máscara branca para que minha presença fosse reconhecida.

A minha experiência é um lembrete de que a inteligência artificial, geralmente alardeada por seu potencial de mudar o mundo, pode na verdade reforçar o preconceito e a exclusão, mesmo quando usada da forma mais bem-intencionada.

Os sistemas de IA são moldados pelas prioridades e preconceitos, conscientes ou não, das pessoas que os criam, em um fenômeno a que me refiro como “a visão codificada”. Pesquisas mostram que a automatização usada para informar decisões sobre sentenciamentos produz resultados tendenciosos contra os negros e a aplicada para a seleção de alvos de anúncios online podem discriminar com base na raça e no gênero.

LEIA TAMBÉM: Modelo brasileiro de pagamentos instantâneos via celular deve ser definido até fim do ano

Mais especificamente, quando se trata de tendenciosidade algorítmica na tecnologia de análise facial — minha área de pesquisa e um dos focos do meu trabalho na Liga da Justiça Algorítmica —, o aplicativo de fotos do Google classifica negros nas imagens como “gorilas” e o software de análise facial que funciona bem para o homem branco, mas não tanto para todo o resto, são exemplos famosos. E por mais perturbadores que sejam, não refletem integralmente os riscos dessa tecnologia que está cada vez mais sendo utilizada no cumprimento da lei, no controle de fronteira, na vigilância escolar e nas contratações.

Recrutador robótico tendencioso

Os produtos da HireVue, usados por mais de 600 companhias, incluindo Nike, Unilever e até as Escolas Públicas de Atlanta, permitem aos empregadores entrevistarem os candidatos via câmera, usando IA para avaliar os vídeos de cada um de acordo com sinais verbais e não verbais. Segundo a empresa, o objetivo é reduzir o preconceito na contratação.

Acontece que tem uma pegadinha aí: a avaliação do sistema, segundo um repórter da Business Insider que testou o software e discutiu os resultados com o diretor de tecnologia da HireVue, reflete as preferências de contratação de gerentes anteriores. Ou seja, se mais homens brancos com maneirismos homogêneos de forma geral foram aceitos no passado, é possível que os algoritmos sejam treinados para favorecer quem tem a pele clara e seja do sexo masculino, penalizando as mulheres e as pessoas de cor que não exibem os mesmos traços, verbais ou não.

Já foi provado repetidas vezes que, tirando a tecnologia, as pessoas tendem a tomar decisões de contratação favorecendo os candidatos brancos e masculinos; todos os outros acabam se igualando por baixo. Tendo isso em mente, o instinto de entregar a avaliação de empregados em potencial à tecnologia é compreensível — mas como saber se um candidato qualificado, cujos maneirismos verbais e não verbais ligados à idade, gênero, orientação sexual ou raça que não se encaixam nos dados de treinamento dos mais bem qualificados não estarão sendo julgados abaixo de seu potencial em relação a um candidato semelhante que se encaixa no “grupo de dentro”? Só saberemos se testarmos a tecnologia e sua aplicação continuamente.

Os testes feitos com a tecnologia de análise facial são preocupantes. Em parceria com a especialista em visão computacional Timnit Gebru, investiguei a precisão da ferramenta produzida pela IBM, Microsoft e Face++. Na tarefa simples de adivinhar o gênero de um rosto, o software de todas as companhias teve um desempenho melhor com os masculinos do que com os femininos, e muita dificuldade com as mulheres negras de pele mais escura. No pior caso, a tecnologia foi 34% menos precisa em relação a essas mulheres que aos homens brancos.

Considerando a suscetibilidade da tecnologia de análise facial na recriação do preconceito de gênero e raça, as empresas que estão usando HireVue na esperança de aumentar a imparcialidade deveriam checar seus sistemas para garantir que não estão reforçando a tendenciosidade usada nas decisões de contratação anteriores. É muito possível que as companhias que lançam mão do programa um dia possam ser processadas, com a alegação de que ele teve um impacto negativo nos candidatos do sexo feminino e das minorias, o que é uma violação ao Capítulo VII da Lei de Direitos Civis dos Estados Unidos.

Além do mercado de trabalho

Os riscos dessa tecnologia tendenciosa vão além das contratações. Segundo o Centro de Privacidade e Tecnologia da Georgetown Law, os rostos de metade dos adultos nos EUA — o que corresponde a mais de 117 milhões de pessoas — estão atualmente em redes de bancos de dados de reconhecimento facial que podem ser vasculhadas pela polícia sem mandado. Essas buscas geralmente se baseiam em tecnologias cuja precisão não foi testada em relação a diferentes grupos — e é importante porque a identificação errada pode sujeitas inocentes ao escrutínio policial desnecessário ou até acusações criminais errôneas.

No caso de South Wales, onde a Big Brother Watch registra que, entre maio de 2017 e março de 2018 os rostos de mais de 2.400 pessoas inocentes, identificadas erroneamente, foram parar nos arquivos do departamento de polícia sem consentimento, o nível de reconhecimentos falsos positivos chegou a 91%. Vale lembrar, porém, que mesmo que esse número caia, o uso parcial da tecnologia não pode ser solucionado com uma correção de software. E mesmo sendo precisa, pode ser usada das formas mais perturbadoras: como pelas autoridades de Baltimore, que lançaram mão do recurso para identificar e prender as pessoas que participaram dos protestos, em 2015, contra o abuso policial após a morte de Freddie Gray na cidade.

Precisamos questionar o uso indiscriminado dessa tecnologia; felizmente, tem havido progresso nesse aspecto. A ACLU já pediu à Amazon que pare de vendê-la à polícia e está contestando seu uso, dentro do carro, para o Vehicle Face System, que está sendo testado na fronteira do México com os EUA. Embora os políticos do Texas, Illinois e Califórnia venham batalhando para regulamentar a tecnologia, ainda não há leis federais a respeito. Apesar disso, há um modelo: um relatório de 2016 da Faculdade de Direito Georgetown propôs servir de referência para a legislação federal. Os políticos têm que adotá-lo.

Também podemos aprender com exemplos internacionais. Ao contrário dos EUA, o Canadá tem um estatuto nacional que regula o uso dos dados biométricos no setor privado. Empresas como Facebook e Amazon têm que obter consentimento informado para coletar informações faciais únicas dos cidadãos. Na União Europeia, o Artigo 9 da Regulamento Geral sobre a Proteção de Dados exige a aprovação expressa para a coleta de biometria de seus cidadãos.

O público deve apoiar os políticos, ativistas e tecnólogos de interesse público na exigência de transparência, equidade e responsabilidade no uso da inteligência artificial que governa a nossa vida. O reconhecimento facial vem invadindo cada vez mais nossas vidas, mas ainda há tempo de impedir que piore as desigualdades sociais. Para isso, precisamos encarar a visão codificada.

* Joy Buolamwini é fundadora da Liga da Justiça Algorítmica e pesquisadora do Laboratório de Mídia do MIT.