O mundo on-line é moldado por forças que escapam do nosso controle, determinando os textos que lemos no Facebook e os resultados de nossas buscas no Google.
Porém, será que um programa de computador pode agir de forma discriminatória?
Existe uma crença generalizada na objetividade de softwares e algoritmos. No entanto, os algoritmos são programados e mantidos por pessoas, e algoritmos de aprendizado de máquina ajustam a sua atuação de acordo com o comportamento dos usuários. Por isso, segundo pesquisadores, eles podem reforçar preconceitos humanos.
O sistema de anúncios on-line do Google, por exemplo, mostrava com muito mais frequência para homens do que para mulheres um anúncio oferecendo empregos bem remunerados, segundo um estudo feito por pesquisadores da Universidade Carnegie Mellon, em Pittsburgh (Pensilvânia).
Uma pesquisa da Universidade Harvard apontou que os anúncios oferecendo levantamentos de prontuários policiais apareciam de forma significativamente mais frequente junto a buscas associadas a nomes característicos de negros ou ao nome de uma associação historicamente negra.
Os algoritmos, que são uma série de instruções escritas por programadores, e seus resultados on-line refletem atitudes e comportamentos humanos. Os chamados algoritmos de aprendizado de máquina aprendem e evoluem com base no que as pessoas fazem on-line. O recurso de preenchimento automático no Google e no Bing é um exemplo disso.
Por exemplo, uma recente pesquisa no Google iniciada pelo termo “os transgêneros...” sugeria como complemento: “Os transgêneros vão para o inferno?”.
“Mesmo que os algoritmos não sejam concebidos com a intenção de discriminar esses grupos, se eles reproduzem preferências sociais, mesmo que de forma completamente racional, também acabam reproduzindo essas formas de discriminação”, disse David Oppenheimer, da Universidade da Califórnia, em Berkeley.
Os pesquisadores da Carnegie Mellon criaram uma ferramenta que simula usuários do Google sem nenhum histórico de pesquisa e em seguida visitaram sites de emprego. Mais tarde, em um site noticioso externo, o Google exibia o anúncio de um serviço de orientação profissional que prometia cargos executivos de alta renda.
Esse anúncio apareceu 1.852 vezes para homens e apenas 318 vezes para mulheres.
É possível que essa diferença se deva ao fato de o anunciante ter solicitado que os anúncios se destinassem aos homens, ou que o algoritmo tenha determinado que os homens estavam mais propensos a clicar nos anúncios.
Em nota, o Google disse que “os anunciantes podem optar por atingir o público que desejarem, e temos políticas que orientam quais tipos de anúncios baseados em interesses são permitidos”.
Anupam Datta, um dos pesquisadores da Carnegie Mellon, disse que, “dada a grande disparidade salarial que temos entre homens e mulheres, esse tipo de segmentação ajuda a perpetuá-la”.
As empresas podem fazer simulações regulares para testar os resultados de seus algoritmos. Datta sugeriu que os algoritmos sejam “concebidos do zero, para que haja consciência sobre os valores e eles não discriminem”.
