No Brasil, 80% das pesquisas em educação são desconsideradas pela comunidade acadêmica

Mostrei recentemente (*, *) que a produção científica nacional sofre de um problema grave de obesidade mórbida, pois publica uma enorme quantidade de trabalhos (mais de 70 mil artigos em 2016), mas apresentam baixíssimo impacto internacional.

Leia também: Peru e Chile gastam menos em educação do que o Brasil. E eles alcançam as melhores notas

Em um ranking de 66 países que publicam pelo menos 3000 artigos em 2016, estamos em 53º lugar em citações por publicação (CPP). Resultados semelhantes aconteceram nos anos anteriores: 53º lugar de 63 países em 2015, 50º lugar de 62 países em 2014, etc. Além disso, tivemos em 2016 um impacto (em CPP) 55% menor que o 1º lugar mundial, a Suíça (CPP=4,68).

Esses dados se referem a todas as áreas da produção acadêmica, portanto são uma “média geral”. É preciso olhar cada área do conhecimento individualmente para uma avaliação minuciosa. Nesse sentido, uma análise publicada em 11/02/2019 na Gazeta do Povo avaliou área por área, entre elas a de pesquisa em educação, que será o foco deste artigo.

INFOGRÁFICO: Pesquisa em educação no Brasil produz muito com impacto muito baixo

Olhando para os países que publicaram pelo menos 100 artigos de pesquisa em educação em 2016, ficamos em penúltimo lugar em CPP entre 54 países. O Brasil publicou 1386 trabalhos de educação em 2016, mas que foram citados apenas 683 vezes (CPP=0,49). O 1º lugar de 2016 ficou com a Bélgica, com 438 publicações e 904 citações (CPP=2,06). Amargamos um impacto 76,2% menor que o 1º lugar. E como ficamos nos anos anteriores? 2015: 49º lugar de 50 países; 2014: 47º de 48 países; 2013: 50º de 50 países (último lugar!); 2012: 44º de 46 países; 2011: 45º de 46 países; 2010: 39º de 40 países; 2009: 33º de 33 países (último!); 2008: 31º de 33 países; chega!

O que constatamos sobre o impacto internacional da nossa pesquisa em educação é lamentável. Mas é importante conhecer um pouco mais dessa área, em especial as revistas de educação. Ao contrário das “hard-sciences”, a grande parte dos estudos de educação são publicados em revistas nacionais, sendo muitas delas consideradas como “top de linha” pela Capes. Nesse sentido, é importante analisar as revistas de educação do ponto de vista cientométrico. Para isso selecionamos 6 revistas, de acordo com a posição no ranking SRJ da Scimago de revistas de educação do Brasil em 2015; havia um total de 18 revistas nesse ano. Trabalhamos com dados divulgados em 2015, que tomam como base três anos de publicações, citações ou impacto (CPP). Os dados foram obtidos do portal Scimago Journal Ranks que utiliza a Scopus como base de dados.

Leia também: Universidades públicas produzem quase todo conhecimento científico do Brasil

Uma ressalva importante é que esse ranking SJR não mede “qualidade” (que é complicadíssimo de quantificar) ou impacto das revistas (que é medido por CPP), mas sim “influência acadêmica”. Se baseia num complexo algoritmo que dá pesos diferentes às citações que a revista recebe. De qualquer forma, selecionei revistas que são muito conhecidas da comunidade de pesquisa em educação. Para evitar criar problema com os editores das revistas nacionais, assim com os autores que ali publicam, troquei seus nomes por códigos.

A revista “BR-245”, classificada como Qualis A1 pela Capes (ou seja, considerada de excelente qualidade pelo comitê de educação da Capes), foi a 1ª colocada do Brasil no ranking SJR das revistas de educação em 2015, com a posição #254 na classificação mundial. Dos 181 artigos publicados no período, apenas 32 foram citados pelo menos 1 vez (17,7% deles), gerando um total de 42 citações, ou seja, CPP=0,23. Apesar de ser uma revista muito “famosa” de educação do Brasil, apresenta resultados insignificantes se comparado às revistas internacionais da área (vejam os dados abaixo).

A revista “BR-453” ficou em 2º lugar do Brasil no ranking SJR de 2015. Apresentou 173 publicações no período, sendo que 37 trabalhos foram citados, ou seja, 21,4%. Os artigos foram citados apenas 47 vezes, ou seja, CPP=0,27.

A revista “BR-462” foi a 3º do Brasil na classificação SRJ. Publicou 118 artigos no período, e desses somente 16 receberam alguma citação (13,6% do total), totalizando 20 citações (CPP=0,17). Essa revista é do Qualis A1 da Capes.

A revista “BR-497”,4º colocada do Brasil em 2015 no ranking SJR, publicou 131 artigos no período. Apenas 20 artigos foram citados, recebendo 24 citações (CPP=0,18). A revista “BR-536” publicou 127 artigos no período, mas apenas 15 receberam alguma citação; contabilizei somente 17 citações (CPP=0,13). Ambas revistas BR-497 e BR-536 fazem parte do Qualis A1 da Capes.

A revista “BR-547” é mais diversificada que as anteriores, pois abrange outras áreas além da educação, como por exemplo saúde. Por esse motivo apresentou um impacto maior que as outras revistas, apesar de ser classificada como Qualis A2. Foi 6ª colocada no ranking SRJ entre as revistas nacionais. Publicou 276 artigos no período, sendo 64 deles com citação (23,2%), totalizando 87 citações (CPP=0,32).

Avaliando as 6 revistas nacionais, verificamos que há um percentual muito baixo de artigos sendo citados: 17,2%, em média (Figura 1). Mas será que é corriqueiro que as revistas de educação, no âmbito mundial, tenham artigos fracamente citados?

Para responder à pergunta acima vamos investigar revistas de educação da América do Norte e Europa. As revistas selecionadas foram as mais bem posicionadas de cada país na classificação SJR da Scimago de 2015. Como já dito acima, o índice SJR não mede qualidade das revistas. O American Journal of Educational Research (#1 na listagem SJR) publicou 119 artigos no período (2015, com base em três anos), sendo 110 deles com pelo menos 1 citação, representando 92,4% do total; foram 615 citações, com CPP=5,16 (comparem esse valor de CPP com o da revista 1ª colocada do Brasil: CPP=0,23). A revista inglesa The Internet and Higher Education (#11) produziu 100 publicações no período, sendo 84% citados; contabilizei 680 citações e CPP=6,80. Na Educational Research Review, da Holanda (#21), 52 de 53 artigos foram citados (98,1%), gerando 304 citações e CPP=5,74. A revista alemã Metacognition and Learning (#55) publicou 38 artigos, 35 deles com citação (92,1%), gerando 178 citações (CPP=4,68). A revista canadense International Review of Research in Open and Distance Learning(#97) teve 234 publicações no período, sendo 68,4% com pelo menos 1 citação. Na revista espanhola Comunicar (#103), 103 de 121 artigos foram citados (85,1%), gerando 317 citações. O Australian Journal of Educational Technology (#106) produziu 185 artigos no período, sendo 74,6% com citação – os artigos receberam 432 citações. A revista portuguesa European Journal of Psychology of Education (#226) produziu 157 trabalhos e 99 foram citados (63,1%). Finalmente, a revista grega de educação em química, a Chemistry Educational Research and Practice (#230), produziu 167 publicações, das quais 72,5% foram citadas – os artigos receberam 395 citações (CPP=2,37).

Analisando as revistas do exterior em comparação com as seis do Brasil, a média de artigos publicados no período é de 130 e 168, respectivamente - valores não estatisticamente diferentes. Entretanto, as revistas do exterior receberam, em média, 425 citações em 2015, enquanto as do Brasil receberam 39,5 citações (diferença de 10,6 vezes!). O valor médio de impacto (CPP) e % de artigos citados das revistas do exterior foi CPP=3,78 e 81,1%, respectivamente. Já o resultado das revistas nacionais de educação foi CPP=0,22 e 17,2% - diferenças colossais entre as brasileiras e as do exterior. Mesmo que se elimine da amostragem as revistas do exterior com os maiores CPPs (#1, #11 e #21), ainda sim o impacto médio se mantem muito superior às revistas nacionais: CPP=2,73 e 76% dos artigos citados.

Para melhor apurar os baixos resultados das revistas nacionais de educação, analisei aleatoriamente mais três delas, entre as posições 7 e 18 do ranking SRJ nacional de 2015. Aqui os resultados de impacto: CPP=0,43 (revista “BR-599”), CPP=0,11 (“BR-716”) e CPP=0,04 (“BR-903”). São valores muito pequenos de CPP, assim como a média de artigos com citação dessas revistas: 15%.

O que percebemos é que a péssima colocação do Brasil no ranking de impacto mundial em pesquisa de educação (por exemplo: Brasil em 53º lugar de 54 países em 2016) se explica pelo fato de que aproximadamente 4 de cada 5 artigos de educação do Brasil não receber citação (lembrando que é um valor médio para o conjunto das 6 revistas que foram avaliadas; e este resultado não muda se recalculamos com as 3 revistas comentadas no parágrafo acima). Para as revistas do exterior, verificamos justamente o contrário: 4 de cada 5 artigos é citado. Além disso, os artigos das revistas do exterior recebem 10 vezes mais citações que as nossas.

Assim, quando um pesquisador em educação disser que é “parte da cultura da área” que as pesquisas apresentam baixo impacto, saberás que é um argumento falso. Esse texto aqui já se alongou demais, mas quero deixar claro aos leitores que não estou atacando a pesquisa em educação, e nem as revistas nacionais de forma geral. O artigo mais citado do meu ex-orientador canadense (Dr. Kenneth B. Storey) foi publicado em uma revista nacional de ciências da vida, o Brazilian Journal of Medical and Biological Research (“Oxidative stress: animal adaptations in nature”, publicado em 1996, e está com 689 citações no Google Scholar). De acordo com a base de dados Scimago de 2015 (de 3 anos de cobertura), essa revista publicou 481 artigos, sendo 306 deles com citação – 63,6% do total. Foram 711 citações e CPP=1,48 (esse CPP foi 6,7 vezes superior à média das revistas de educação do Brasil que estudamos).

O que está acontecendo pesquisa nacional em educação? Os números apontam para uma conclusão óbvia: que se fazem pesquisas irrelevantes, que poucas pessoas citam. Posso até arriscar dizer que poucos leem tais trabalhos. É um desperdício de verbas públicas, pois as revistas nacionais de educação são financiadas com dinheiro do contribuinte.

Um amigo e professor de administração da UnB, Dr. Geraldo Sardinha Almeida, leu o texto antes de enviar para a Gazeta e me perguntou qual o motivo do baixo impacto dessas publicações. Questionou se são artigos de reduzida profundidade, de baixa qualidade metodológica ou se abordam temas irrelevantes. Disse a ele que responder tal pergunta iria requerer um estudo aprofundado das publicações de educação, para entender o que há de errado. Foge da minha abordagem cientométrica. Porém, lendo os editoriais de uma revista de educação “badalada” na academia, a que chamamos de “BR-254”, vemos que são bastante ideológicos:

“A EDUCAÇÃO NO ATUAL CENÁRIO POLÍTICO ECONÔMICO MUNDIAL: A DISPUTA ELEITORAL E OS RETROCESSOS NA EDUCAÇÃO” (publicado em 2018)

“A EDUCAÇÃO BÁSICA BRASILEIRA EM RISCO” (2018)

“NEOCONSERVADORISMO, EDUCAÇÃO E PRIVAÇÃO DE DIREITOS” (2017)

“CRISE DO PROJETO DEMOCRÁTICO DE EDUCAÇÃO” (2017)

 “EDUCAÇÃO & SOCIEDADE: UMA HISTÓRIA DE LUTA PELA EDUCAÇÃO PÚBLICA DE QUALIDADE PARA TODOS” (2017)

Além desses editoriais, fiquei curioso para com um artigo do último número da revista “BR-254”: “A construção da pedagogia socialista” (publicado no 2º semestre de 2018). Me pergunto se a ideologia não atrapalha a qualidade da ciência. O pesquisador não pode iniciar um estudo já sabendo o resultado que quer obter. Dogma não combina com ciência. Enfim, é uma conversa para um próximo artigo!

De qualquer forma, me preocupa saber que os doutores acadêmicos (em pedagogia) que formam os professores do ensino básico, realizam estudos que quase ninguém dá importância. Isso leva a uma pergunta fundamental: O que será estão ensinando para os futuros professores de nossas crianças? Será que isso está ligado ao fato do Brasil ir tão mal nas provas do PISA? Muitas perguntas que precisam ser respondidas! Alô, presidente Bolsonaro!

Agradeço aos amigos Nilton César Rodrigues Soares e Luis Fabiano Farias Borges pela revisão deste artigo.

*Marcelo Hermes-Lima é pesquisador e professor de bioquímica na Universidade de Brasília (UnB). Tem mais de 5,8 mil citações em revistas científicas internacionais.

N