Na última semana, o site Retraction Watch, que acompanha artigos científicos renegados pelas revistas a que foram submetidos, noticiou um caso de três publicações removidas depois que uma investigação revelou manipulação na chamada “revisão por pares”. O processo consiste em críticas geralmente anônimas feitas por outros especialistas (os pares) que decidem se o artigo de um colega da área será rejeitado ou aceito para publicação, com ou sem modificações. Os críticos alegam que esse procedimento não serve para inibir fraudes na ciência, tampouco resolve a questão da subjetividade, mas fomenta a burocratização, a censura, a competição entre pesquisadores e até o desenvolvimento de pesquisas ruins. A revisão por pares, acrescentam, também não minimiza os altos custos envolvidos, os potenciais conflitos de interesse e os sinais de enviesamento em publicações científicas.
O psicólogo experimental Adam Mastroianni chama a revisão por pares de um experimento que a ciência está fazendo consigo mesma há mais de 60 anos. “O desenho experimental não era bom; não havia randomização, nem grupo controle. Ninguém era líder, exatamente, e ninguém estava fazendo mensurações consistentes”, comenta ele em publicação própria, em que oferece um histórico do procedimento e uma conclusão: “Os resultados chegaram. Ela fracassou”.
Por que fracassou? Mastroianni elenca alguns dos altos custos: a cada ano, as horas que os cientistas gastam atuando como revisores equivalem a 15 mil anos de trabalho. As universidades gastam milhões para acesso às revistas que devem parte de seu prestígio a serem revisadas por pares. Segundo o Portal da Transparência, só para acesso das instituições brasileiras à revista Nature foram gastos, em 2018, R$62 milhões (US$18 milhões) em impostos em um contrato que expira no último dia deste ano e deve ser renovado. Sem considerar potenciais conflitos de interesse. Em 2022, por exemplo, a revista emitiu editorial pedindo que os brasileiros votassem em Lula nas últimas eleições, além de dar sinais de enviesamento ideológico crescente.
“Se a revisão por pares tivesse melhorado a ciência, isso deveria ser bem óbvio”, continua Mastroianni. “Não melhorou”, conclui. Ele pensa que a revisão pode até ter incentivado pesquisas ruins, pois, quando um revisor pede resultados adicionais, os autores já têm um incentivo para produzir resultados numa direção pré-definida. Em diferentes áreas, a produtividade da pesquisa está estável ou em declínio por décadas.
Novas ideias não parecem encontrar espaço — a revisão ajuda dogmáticos a rejeitar heresias. Há, também, uma grande crise da replicação — isto é, quando há tentativas de refazer estudos, os mesmos resultados dos originais não são obtidos com uma frequência assustadora. Essa crise, que começou na psicologia, se alastrou como uma metástase até para a pesquisa do câncer. Além disso, um já célebre estudo do médico John Ioannidis, de 2005, propõe que a maioria dos resultados de pesquisas publicadas são falsos.
Em diferentes estudos da eficácia dos revisores em encontrar erros deliberados e nada sutis, eles não conseguem passar da marca de 30% de equívocos corrigidos. Artigos fraudulentos são publicados com frequência, como é possível inferir das publicações do Retraction Watch.
Fraudes na pesquisa do Alzheimer podem ter levado ao desperdício de centenas de milhões de dólares. Enquanto isso, etapas salutares na pesquisa científica, como o compartilhamento de dados, não recebem a atenção devida. É um custo de oportunidade: porque o que está instituído é considerado marca de confiabilidade, e o que realmente aumenta a confiabilidade, como dados públicos, acaba negligenciado. “A maior parte das revistas não exigem que os dados sejam públicos”, lamenta Mastroianni. Ele não é o primeiro cientista a declarar guerra à revisão por pares.
Malvisto pelos pares
Bruce Graham Charlton é um médico britânico que teve uma carreira produtiva na pesquisa científica. O Google Acadêmico soma mais de cinco mil citações em seu nome. Ele atuou nas áreas da neuroendocrinologia, saúde pública e psiquiatria. Até 2019, foi professor de psiquiatria evolutiva na Universidade de Newcastle.
“Minha crença é que a ciência apodreceu de cima para baixo”, é o diagnóstico que ele faz no livro Nem Mesmo Tentando: A Corrupção da Ciência Real (tradução livre para Not Even Trying: The Corruption of Real Science, de 2012, sem edição em português). “Enquanto a causa última da traição tem sido o abandono da verdade concebida como um valor transcendental”, diz Charlton, “o mecanismo proximal pelo qual a corrupção foi implementada foi a revisão por pares”.
A impugnação de Charlton à revisão por pares pode parecer radical, afinal, como ele próprio reconhece, a revisão por pares tornou-se “o autopercebido processo central da ciência”. O problema, para ele, é que “o triunfo da revisão por pares é um triunfo do comitê sobre o indivíduo, do protocolo sobre o juízo”: o processo é uma burocratização e coletivização das decisões científicas e presume que o procedimento de um comitê é mais objetivo e mais válido que o julgamento individual.
Para o britânico, comitês não podem ser melhores que a responsabilidade individual. Pensar que incrementam a objetividade é uma ilusão: “a revisão por pares não resolve o problema da subjetividade; em vez disso, ela substitui a subjetividade individual potencialmente responsável pela subjetividade de grupo necessariamente irresponsável”.
Charlton compara a ciência contemporânea a uma fábrica polonesa, remanescente da era soviética, que ele viu uma vez no programa da BBC Troubleshooter (1990-1993). “A fábrica estava produzindo vastas quantidades de copos defeituosos que ninguém queria. Ninguém queria comprá-los, nem mesmo usá-los. Então, os copos simplesmente eram acumulados em pilhas gigantes ao redor do prédio da fábrica — usando recursos, atrapalhando a passagem e ocupando todo o espaço útil”. Para ele, este é o estado da ciência profissional hoje: “foi inchada por décadas de crescimento exponencial até se tornar uma fábrica soviética de indústria pesada dominada por burocratas”.
Anualmente 1,8 milhão de artigos acadêmicos são publicados em 28 mil revistas, segundo estimativa da Associação Internacional de Editoras Científicas, Técnicas e Médicas em 2012. Em 2014, a economista Dahlia Remler calculou quantos artigos nunca são citados por outros, um indicativo de que nunca foram lidos. Seriam 12% na medicina, 27% nas ciências naturais, 32% nas ciências sociais e 82% nas humanidades. No Brasil, o pesquisador de bioquímica Marcelo Hermes-Lima calculou que, enquanto o país está na 14ª posição mundial em número de artigos publicados, ele fica em 53º lugar, entre 66 países analisados, em se tratando na quantidade de citações por artigo, que são apenas duas. A análise do cientista, publicada na Gazeta do Povo em 2019, aponta que o estado de baixo impacto da ciência brasileira não se explica por falta de dinheiro.
Hipóteses médicas: a última resistente
Charlton praticou o que prega: entre 2003 e 2010, ele foi editor-chefe da revista acadêmica Medical Hypotheses, destituída de revisão por pares. Fundada em 1975 e editada até 2003 por David Horrobin, um fisiologista tão heterodoxo quanto Charlton, a revista explicitamente estimulava a especulação e a diversidade de ideias no debate científico. A revisão era editorial, não por pares. Havia um grupo de conselheiros, entre os quais estava o respeitado neurocientista Vilayanur Ramachandran, que disse à revista Science que a MH era o único lugar em que ideias que podem parecer implausíveis, mas seriam importantes se verdadeiras, podiam ser publicadas. Outros conselheiros incluíam o neurologista português António Damásio e o laureado do Nobel de fisiologia Arvid Carlsson.
Foi justamente a publicação de ideias implausíveis que deu um fim ao pequeno nicho libertário sem comitês da Medical Hypotheses: em 2009, contra a vontade do editor Bruce Charlton, a Elsevier, gigante da publicação acadêmica e dona da revista, retratou dois artigos polêmicos, um dos quais propunha a escandalosa hipótese de que a AIDS poderia não ser causada pelo HIV. Pressionado a implementar a revisão por pares, Charlton recusou-se e terminou demitido de sua função em 2010.
Várias das críticas à revista creditavam a publicação desses artigos à falta de revisão por pares. Apesar dos protestos de 13 dos 19 conselheiros da revista, a Elsevier finalmente implementou a revisão por pares. Damásio, na época, declarou à Science que o artigo negando a associação entre HIV e AIDS não deveria ter sido publicado. Desde a demissão de Charlton, o número de menções dos artigos da revista em outras publicações, utilizado como um indicativo de influência, teve uma tendência central de declínio até 2020, segundo a empresa de análise de dados de publicação acadêmica Scimago.
Mehar Manku, novo editor da revista que foi aluno do fundador Horrobin, disse em entrevista à Science um mês após a demissão de Charlton que instituir o protocolo dos pares não era uma traição à missão da revista, que ele evitaria polêmicas e teria o cuidado de não entrar em assuntos controversos. Em um obituário, John Stein, colega de Horrobin em Oxford, diz que ele considerava a revisão por pares “competidores com incentivo para achar defeitos” e um processo que “encoraja punhaladas pelas costas; favorece psicopatas”, especialmente no contexto de concessão de verbas de pesquisa, e que “suprime a inovação”. “Ele entendia que bons pesquisadores são raridades que precisam de apoio especial, como artistas”, comenta Stein.
Mastroianni tem opinião similar: a revisão por pares foi aceita porque a visão de ciência vencedora na Segunda Guerra foi aquela preocupada com o elo mais fraco da corrente: ideias falsas devem ser combatidas — o que ecoa na cultura em geral até hoje, em projetos de lei de criminalização de “fake news” e “desinformação”. “Mas a ciência é um problema do elo mais forte: o progresso depende da qualidade dos nossos melhores trabalhos”, reflete.
“Não precisávamos de um establishment científico que sufocasse as ideias erradas. Precisávamos que ele deixasse que as novas ideias desafiassem as velhas, e o tempo faria o resto”. O psicólogo vê relação desse problema com o tema geral e premente da liberdade de expressão: “tudo o que a censura faz é dificultar a derrota das ideias velhas. A revisão por pares, como toda forma de censura, meramente ralenta a verdade”.
História
Considerada hoje uma parte salutar da comunicação científica e do rigor em pesquisa, a revisão por pares na verdade é jovem e não era feita em obras seminais de cientistas como Newton, Darwin, Lavoisier e Mendeleev. O próprio Einstein, em toda a sua carreira, teve apenas um artigo revisto por pares, o que o ofendeu e o levou a publicar em outra revista.
Não era incomum para os cientistas clássicos que colegas comentassem ou ajudassem com suas publicações antes que fossem ao prelo. Darwin, por exemplo, deixou um grande volume de cartas trocadas com interessados ao redor do mundo. Mas a revisão por pares burocratizada, como é hoje, só surgiu na época da Segunda Guerra Mundial, quando os governos deram verbas em níveis sem precedentes para pesquisa e queriam uma forma de assegurar que não estavam desperdiçando os recursos.
As revistas científicas, as primeiras das quais surgiram no século XVII, que antes precisavam quase implorar por mais artigos, passaram a necessitar, também, de um método de triagem para uma explosão de submissões. Raro até a década de 1960, em pouco tempo o protocolo de revisão se tornou quase universal.