Por que é absurdo a Capes usar o Google Scholar como parâmetro de qualidade para as Humanas

Qualquer um que tenha feito uma pesquisa por meio do buscador do Google sabe que nem sempre os resultados obtidos são de qualidade. Conteúdos suspeitos, fontes questionáveis e materiais promovidos artificialmente são comuns. Isso se reflete também no Google Scholar ou Google Acadêmico, que reúne artigos, monografias, teses e outras produções acadêmicas. Mesmo assim, desde 2018, a Capes, agência do Ministério da Educação responsável pelos cursos de pós-graduação, passou a adotar o Google Acadêmico como um dos parâmetros para avaliar a qualidade das publicações científicas brasileiras da área de Humanas, o que tem gerado diversos questionamentos por parte de pesquisadores.

>> Faça parte do canal de Vida e Cidadania no Telegram

Tudo começou quando a Capes anunciou que iria utilizar parâmetros mais justos para avaliar a qualidade das revistas científicas, feita pelo sistema Qualis. Os critérios subjetivos usados até então facilitavam que publicações científicas ruins ficassem bem qualificadas, aumentando injustamente as notas de cursos de mestrado e doutorado. Por isso, a agência decidiu usar uma régua igual para medir a qualidade das revistas científicas, baseada em vários fatores, sendo um deles o número de citações feitas dos artigos das revistas por outros pesquisadores de renome. Ou seja, se um pesquisador de relevância científica nos Estados Unidos ou no Japão utilizou oficialmente dados de um estudo feito no Brasil, o que é comum nas áreas de Exatas e Ciências Biológicas, a revista na qual foi publicado esse estudo teria uma qualificação melhor de outra cujos artigos ninguém leu ou citou.

Esse é um dos métodos utilizados em outros países para avaliar a qualidade das revistas científicas. Mas, para garantir que as citações sejam de qualidade – ou seja, que um dado tenha servido para o desenvolvimento científico e não apenas em um slide de escola, por exemplo –, são utilizados os chamados “indexadores”, plataformas que agregam artigos de qualidade comprovada, como o Scopus ou a Web of Science. Esses agregadores seguem regras rígidas de qualidade para ingresso e permanência e as revistas que apresentarem falhas éticas são excluídas das bases.

Ocorre que as pesquisas em Ciências Humanas têm pouquíssimas citações nessas plataformas. São vários os motivos para isso, como temáticas locais sem interesse para pesquisadores em outros países, e também, infelizmente, falta de qualidade nos conteúdos – tendo poucas citações até entre os pesquisadores brasileiros. A solução seria avaliar as pesquisas de Humanas por meio de outros parâmetros (e não só de citações internacionais), mas ao invés de buscar uma forma de medir que estimulasse a qualidade das pesquisas de Humanas, os pesquisadores da área fizeram um lobby para que o número de citações no Google Acadêmico passasse a ser utilizado como forma de medir a “qualidade” das pesquisas. Em nenhum lugar no mundo se admite utilizar citações no Google Scholar para avaliar a qualidade de pesquisas acadêmicas, mas, aqui, a Capes cedeu.

O problema é que o Google Scholar não é um indexador, e não esconde isso. A própria página do Google informa essa realidade: “O Google não garante que as informações sejam completas ou precisas.”. Não existem controles qualitativos ou quantitativos de ingresso. Nos resultados do buscador, é possível encontrar as chamadas “revistas predatórias”, feitas apenas para arrecadar dinheiro dos autores. Esses periódicos, diferentemente das publicações científicas sérias que avaliam a qualidade dos trabalhos antes de publicá-los, aceitam praticamente qualquer coisa, desde que o autor esteja disposto a pagar por isso.

Jeffery Beall, que trabalha na Universidade do Colorado (USA), foi um dos pioneiros a apontar essa prática, gerando a conhecida lista de Beall. Seu movimento causou a exclusão de diversos periódicos dos indexadores científicos, mas não do Google. Outro problema comum do Google Scholar é a citação duplicada, que infla artificialmente os resultados.

No início do mandato do presidente Jair Bolsonaro, uma das promessas do governo federal era destinar recursos apenas para pesquisas melhor qualificadas e retirar investimentos de estudos questionáveis. Em abril de 2019, o presidente chegou a dizer que iria reduzir os recursos das faculdades de Ciências Humanas por causa da baixa qualidade, mas, no seu governo, acabou priorizando a área. Em setembro de 2019, o então presidente da Capes, Anderson Correia, anunciou mudanças na forma como os investimentos seriam distribuídos aos cursos de pós-graduação, que incluía mudanças no sistema de avaliação de pesquisas científicas pelo sistema Qualis. Porém, a permissão para que as áreas de Humanas pudessem usar o Google Scholar feita na gestão do ex-presidente da Capes Benedito Guimarães - confirmada pela sua sucessora, Cláudia Mansani Queda de Toledo (elevada ao cargo sob críticas de pesquisadores, por ser de uma instituição com programas quase reprovados pela própria Capes, a mesma em que estudou o ministro da Educação, Milton Ribeiro) -, jogou por terra qualquer esperança de melhora na avaliação das pesquisas da área.

Uma portaria publicada em setembro deste ano pela Capes confirmou a utilização do Google Scholar entre os critérios do Qualis. Segundo o documento, a classificação dos periódicos brasileiros continua a ser feita em dois agrupamentos distintos. O primeiro (QR1) usa a base de dados do Scopus e do Jornal of Citation Report; já o segundo (QR2), usará apenas os dados gerados pelo Google Metrics.

Impacto

Embora pareça uma discussão restrita ao meio acadêmico, o Qualis tem relação direta com a avaliação dos cursos de pós-graduação brasileiros. Para determinar o conceito de um programa de mestrado ou doutorado, a Capes verifica também a produção científica feita pelos professores e pelos alunos dos cursos.

A própria Capes define o Qualis como sendo o “conjunto de procedimentos de classificação de periódicos a partir de fatores de impacto relacionados à produção intelectual dos programas de pós-graduação stricto sensu no Brasil, com a finalidade exclusiva de fornecer subsídios para sua avaliação”.

Na prática, isso quer dizer que quanto mais publicações um programa de pós-graduação tiver em revistas com Qualis alto, melhor será sua nota. E quanto melhor sua nota, melhor seu status dentro do meio acadêmico, e também mais fácil será obter recursos financeiros de agências de pesquisa e outras fontes.

A Gazeta do Povo procurou a Capes para que o órgão explicasse os critérios para uso do Google na classificação do Qualis. A entidade se comprometeu a enviar as respostas à reportagem, mas não cumpriu o prazo acordado. Caso a Capes responda, a matéria será atualizada.