Um minucioso esforço para tentar reproduzir cem estudos de psicologia ao longo de um ano concluiu que mais de metade dos resultados publicados não resistia a um novo teste.
A análise foi feita por pesquisadores de psicologia, muitos dos quais cederam voluntariamente seu tempo para checar trabalhos que consideravam importantes.
Os resultados, publicados na revista “Science”, confirmaram os piores temores de cientistas que há muito tempo defendem correções nesse campo de pesquisa.
Os estudos eram considerados parte do conhecimento científico básico a respeito da dinâmica da personalidade, das relações, do aprendizado e da memória. Terapeutas e educadores se baseiam nessas descobertas para nortear suas decisões, e o fato de muitos estudos serem questionados pode semear dúvidas sobre os fundamentos científicos do seu trabalho.
“Sabíamos ou suspeitávamos que a literatura científica tinha problemas, mas ver isso tão claramente, em tão grande escala, é sem precedentes”, disse Jelte Wicherts, professor do departamento de metodologia e estatística da Universidade de Tilburg, na Holanda.
Mais de 60 dos estudos não se sustentaram. Entre eles estava um a respeito do livre arbítrio. Ele havia concluído que participantes expostos a argumentos favoráveis sobre a predeterminação dos comportamentos tinham mais propensão do que os demais a trapacear num teste subsequente.
Outro trabalho era sobre o efeito da distância física para a proximidade emocional. Voluntários eram convidados a traçar dois pontos num gráfico de papel, e os que desenhavam os pontos mais distantes depois relatavam menor apego emocional aos seus familiares do que os participantes que traçavam pontos próximos.
Um terceiro estudo era sobre a preferência por parceiros. Mulheres envolvidas tinham, no auge do seu período fértil, maior tendência a achar atraentes um homem solteiro, em comparação a quando não estavam tão férteis.
Nesses três estudos, quando reproduzidos, o efeito encontrado pelos pesquisadores foi menos forte.
O projeto começou em 2011, quando um psicólogo da Universidade da Virgínia decidiu investigar se as suspeitas envolvendo trabalhos científicos eram um problema disseminado. Ele recrutou mais de 250 pesquisadores, identificou os cem estudos publicados em 2008 e refez as experiências com todo rigor, com estreita colaboração dos autores originais.
A nova análise, chamada Projeto Reprodutibilidade, não encontrou indícios de fraude. Mas concluiu que, na maioria das conclusões publicadas, as provas não eram tão sólidas como defenderam seus autores. A análise incidiu sobre estudos publicados nas revistas “Psychological Science”, “Journal of Personality and Social Psychology” e “Journal of Experimental Psychology: Learning, Memory, and Cognition”.
John Ioannidis, do Centro de Inovação em Metapesquisas, da Universidade de Stanford, que certa vez estimou que metade dos resultados publicados em estudos médicos é inflada ou errada, observou que a proporção nos estudos psicológicos é ainda maior do que ele imaginava. Segundo ele, o problema pode ser ainda pior em outros campos, como a biologia celular, a economia, a neurociência, a medicina clínica e a zoologia.
O trabalho surge num momento em que cresce o número de retratações de artigos científicos. Muitos citam uma cultura hipercompetitiva na ciência, o que favorece resultados novos e chamativos, com poucos incentivos para que os pesquisadores repitam os experimentos de terceiros ou para que as revistas publiquem estudos sem conclusões esfuziantes.
A prática de checar o trabalho científico alheio é polêmica. “Não há dúvida de que a repetição é importante, mas muitas vezes trata-se apenas de um ataque, um exercício de justiceiros”, disse Norbert Schwarz, professor de psicologia da Universidade do Sul da Califórnia.
Levando em conta apenas a significância estatística —o que exclui matematicamente a probabilidade de um resultado ocorrer por acaso—, 35 estudos analisados se sustentaram e outros 62 não resistiram. Outros 3 foram excluídos por falta de clareza sobre sua significância estatística. Pouquíssimos estudos refeitos contradiziam os originais, mas os resultados eram mais fracos.
“Vemos isso como um chamado à comunidade de pesquisadores para que faça mais reproduções de estudos, e aos financiadores e periódicos para que tratem dos incentivos disfuncionais”, disse Brian Nosek, professor de psicologia da Universidade da Virgínia e diretor do Centro para a Ciência Aberta, ONG que coordenou o projeto. O centro já iniciou um esforço para avaliar os resultados de pesquisas biológicas amplamente citadas sobre o câncer.
Stefano Bertuzzi, diretor-executivo da Sociedade Americana de Biologia Celular, disse que isso já deveria estar sendo feito há muito tempo, porque há na biologia alguns dos mesmos vieses que afetam a psicologia. “Eu chamo de biologia de desenho animado, em que há pressão por publicar resultados mais limpos, mais simples e que não contem a história completa em toda a sua complexidade.”
