Psicologia: metade dos estudos têm resultados questionáveis e os falsos são os mais citados

Na última década, a psicologia passou por um grande problema de credibilidade. Muitos estudos falharam em ter seus resultados obtidos quando outros pesquisadores que não os autores originais tentaram refazê-los. O problema foi chamado de crise da replicação.  Resumindo o problema em seu livro Science Fictions, o psicólogo britânico Stuart Ritchie declara que “com um estalar de dedos, cerca de metade de todas as pesquisas da psicologia foram varridas do mapa”.

Este ano, o entendimento da crise se aprofundou: Marta Serra-Garcia e Uri Gneezy, da Universidade da Califórnia, mostraram na revista Science Advances que os estudos que falham em ter resultados repetidos são citados 153 vezes mais do que os bem-sucedidos na replicação. Os autores interpretam esse desnível como um indicativo de que os estudos irreplicáveis apresentam resultados mais interessantes, fazendo com que os revisores baixem a guarda e aceitem pesquisas de menor qualidade.

O problema começou a ser notado por volta de 2012, quando falhou em ser replicado um estudo que alegava que, ao ler palavras relacionadas à velhice, as pessoas passam a andar mais lentamente, ou seja, a se comportar como velhinhas. Esse fracasso iniciou um efeito dominó, e logo os outros resultados também caíram, como os que sugeriam as seguintes ideias:

•  Após lerem a respeito de ações antiéticas, as pessoas ficam mais propensas a querer comprar sabonete para se lavarem da “sujeira” psicológica.
• Ao ver dinheiro, as pessoas passam a se afastar das outras e a querer trabalhar sozinhas.
• Quando seguramos uma bebida quente, em vez de uma fria, consideramos menos ‘frias’ as pessoas com quem conversamos.
• Quando são lembradas do estereótipo de que mulheres não são boas em matemática, as mulheres se saem pior em testes de matemática (efeito chamado de “ameaça de estereótipo”).
• Antes de uma entrevista de emprego ou outra situação de teste, faça antes ou durante poses com uma ‘postura de poder’: aberta, expansiva, não tímida, com pernas separadas, mãos na cintura. Assim você ganhará confiança e um impulso hormonal: mais testosterona, menos cortisol.

A replicação do estudo da “velhice” refez o experimento recrutando mais pessoas que o estudo original e, o que foi crucial para revelar que os resultados originais não paravam em pé, com precauções metodológicas como medir a velocidade com um aparelho automático que utiliza luz infravermelha, em vez de confiar em pesquisadores com cronômetros. Removido o fator humano na medição, sumiu o efeito.

Já a promessa da ‘postura de poder’ caiu em descrédito em 2015, mas até hoje é uma favorita de influenciadores e alguns políticos. Pode ser verdade que as pessoas se sentem mais confiantes subjetivamente ao ajustar a postura, mas isso não se reflete em seus níveis hormonais ou no sucesso financeiro.

É importante saber que as falhas de replicação não são o mesmo caso de fraudes. Enquanto fraudes geralmente envolvem, por exemplo, a fabricação de dados falsos, nessas falhas revelam-se erros não propositais ocasionados por deficiências metodológicas, coincidências estatísticas e pesquisadores inconscientemente empurrando os resultados que querem ver, como no caso dos pesquisadores empunhando os cronômetros.

Qual é o tamanho da crise da replicação? Para medi-lo, um consórcio de cientistas escolheu 100 estudos de três revistas respeitadas em psicologia. Publicaram suas conclusões em 2015 na revista Science: 61% dos estudos não sobreviveram à tentativa de replicação.

Milgram e Zimbardo: desvendando a semente da crueldade?

Dos estudos mais famosos em psicologia, a principal exceção à crise da replicação é o realizado em Yale por Stanley Milgram em 1961. Meses após o julgamento do nazista Adolf Eichmann em Israel, Milgram queria descobrir se a desculpa dada pelo nazista, de que estava só seguindo ordens, fazia sentido. No primeiro experimento, 40 voluntários em sessões separadas foram ludibriados por um “experimentador” e um “aprendiz” a atuarem como “professores” administrando choques elétricos que o aprendiz, um ator, fingia receber. 65% dos participantes administraram, com algum remorso, o choque máximo de 450 volts, que seria letal, seguindo as ordens do experimentador.

Apesar de ter sido replicado com sucesso, Milgram ganhou críticos. “Alguns defendem que a interpretação de que as pessoas obedecem cegamente a autoridades malévolas não foi justificada porque, supostamente, os participantes não acreditavam realmente que estavam machucando alguém”, disse à reportagem o psicólogo social Lee Jussim, chefe do Laboratório de Percepção Social da Universidade Rutgers.

Gina Perry e seus colegas revisaram em 2019 as críticas ao experimento. A mais frequente explicação dada pelas pessoas obedientes às ordens, após o experimento, foi que não acreditavam que o aprendiz estava realmente sentindo dor com os choques.

Milgram, nos debates após o estudo, dispensou o ceticismo dos participantes obedientes como uma defesa psicológica deles contra o incômodo de pensarem na maldade de que são capazes. Entre os participantes, diferentes motivos para duvidar que estavam diante de uma sessão real de tortura foram dados: a impassividade do experimentador, a improbabilidade de Yale permitir um experimento desse tipo, entre outros. Porém, com algumas ressalvas, a conclusão de Milgram de que uma parte preocupante das pessoas segue ordens antiéticas passou pela replicação.

Inspirado no estudo de Milgram, o Experimento da Prisão de Stanford, realizado em 1971, foi conduzido por Philip Zimbardo e é discutido em quase todo curso de psicologia. O estudo, planejado para duas semanas, mas interrompido no sexto dia, consistiu em separar os 24 sujeitos envolvidos em guardas e prisioneiros.  A conclusão do autor foi que o tratamento cruel dado pelos guardas aos prisioneiros — como tirar as roupas dos rebeldes e obrigar alguns a fazer necessidade em baldes — vem da situação em si, e não de outros fatores como personalidade. Zimbardo tornou-se uma celebridade da área, chegou a depor como perito nos julgamentos dos guardas da prisão de Abu Ghraib, que torturaram presos iraquianos na guerra do começo dos anos 2000, traçando paralelos entre seu experimento e o que ocorrera lá.

Como revelou em 2019 o documentarista e pesquisador Thibault Le Texier, usando transcrições inéditas de fitas gravadas no experimento, Zimbardo chegava a sugerir diretamente como os guardas deveriam atuar contra os prisioneiros, por exemplo negando-lhes acesso ao banheiro. O “experimento”, portanto, era mais semelhante a um teatro guiado por parte dos guardas. Outro sinal disso era que Zimbardo levava um repórter de TV a tiracolo durante o experimento, um sinal de interesse em causar uma sensação midiática. “Os ‘resultados’ não têm significado científico”, decreta Stuart Ritchie.

Palavra de especialista

Todo o problema da crise de replicação da psicologia está em sua parte mais científica, quantitativa. Ele serviu para motivar investigações de replicabilidade em outras áreas, incluindo pesquisa com câncer, com resultados preocupantes.

No Brasil, o problema se soma a outros. Nos cursos de psicologia ainda é popular um ensino com ares de relativismo, que apresenta diferentes escolas de pensamento incompatíveis entre si sem ranqueá-las pela sua base de apoio em evidências — na crise, a psicologia cognitiva sofreu menos que a psicologia social.

Por aqui, o padrão da evidência com frequência é relativizado, também, com uma utilização frequente de estudos qualitativos (como entrevistas com um grupo pequeno de pessoas) em questões que poderiam ser tratadas com métodos quantitativos mais rigorosos.

“Eu quase não dou crédito a estudos qualitativos”, diz o dr. Lee Jussim, que é psicólogo social, “porque são sujeitos em grande medida aos vieses de confirmação e interpretação do pesquisador e não são sujeitáveis a qualquer coisa que possamos chamar de replicação. Não chego a dizer que não dou crédito nenhum a eles porque, no seu melhor, eles podem constituir uma base preliminar para dar credibilidade a uma hipótese que então poderia, em tese, ser testada com mais rigor.”

Para Jussim, o cientificismo, que é o preconceito de atribuir credibilidade a algo porque tem sinais superficiais de respeitabilidade científica, como ter sido publicado em periódico acadêmico com revisão por pares, “é um problema sério no entendimento de resultados científicos tanto de leigos quanto dos próprios cientistas”. A popularidade dos resultados sem replicação, no entanto, “é mais provável que venha de os artigos publicados dizerem algo que as pessoas já querem acreditar, de forma que podem exibi-lo em alguma versão de ‘eu avisei’”.

Como avisou o filósofo Francis Bacon ainda em 1620, “é um erro peculiar e perpétuo do entendimento humano comover-se e estimular-se mais por afirmativas do que por negativas”. Há esperança para a psicologia, se ela estiver ciente dos vieses humanos que servem como obstáculo ao rigor metodológico.