Em abril deste ano, escrevi um texto para a Gazeta do Povo sobre o impacto da produção acadêmica brasileira na área da Educação. Selecionei as seis revistas de educação mais bem classificadas (de um total de 18) no ranking SJR da Scimago de 2015. Elas foram comparadas com um grupo de revistas de Educação do Hemisfério Norte (selecionei a revista mais bem classificada de cada país no ranking SJR de 2015), com 9 revistas no total.
O resultado: as revistas nacionais recebem, em média, 17 vezes menos citações que as do grupo do Hemisfério Norte. Além disso, na média, de cada 5 artigos dos periódicos nacionais de Educação, 4 não são citados por revistas do banco de dados da Scimago. Para as revistas do exterior, ocorre justamente o contrário: apenas 1 de cada 5 artigos não é citado.
Esse texto repercutiu muito nas redes sociais. Muitos ficaram chocados ao constatar que a elite da área de Educação no Brasil produz artigos que quase ninguém lê. Nem eles mesmos! Isso é muito relevante, não apenas pelo desperdício de dinheiro público, mas também por que são esses pedagogos que fazem as políticas públicas de Educação em nosso país. Será esse o motivo de estarmos tão mal no PISA?
As revistas de saúde pública
Do mesmo modo, debrucei-me em nossas revistas de Saúde Pública. Como na área da Educação, a comunidade de saúde pública publica seus resultados majoritariamente nas revistas nacionais. Fiz uma análise comparativa das revistas nacionais de saúde pública com outras da Europa Ocidental (as revistas de outras regiões não foram incluídas). O ranking Scimago de 2017, que se baseia no triênio 2014-2016, contabiliza 9 revistas nacionais de saúde pública; analisamos todas. Para comparar com os periódicos nacionais, selecionei aleatoriamente 16 revistas da Europa Ocidental do 1º ao 3º quartil do ranking SJR-Scimago da região. As sorteadas estavam entre as posições 3 e 147 do ranking de 255 revistas. São dos seguintes países: Holanda, UK, Finlândia, Dinamarca, Bélgica, Alemanha, Suíça e Itália.
Essa amostragem europeia contém revistas de pequeno porte acadêmico, com menos de 100 artigos no triênio, e outras mais significativas, com mais de 300 artigos – essas tendem a receber mais citações. Portanto, para homogeneizar a análise, quantifiquei as citações por publicação (CPP) e o % de artigos que foram citados pelo menos 1 vez. O CPP das revistas variou de 0,99 a 4,48 (CPP médio = 2,51). Numa análise global, 9229 citações totais vieram de 3756 publicações, ou seja, CPP global = 2,46. Em suma, cada artigo de periódico europeu gerou 2,5 citações em média no triênio.
O percentual de artigos citados nas 16 revistas europeias variou de 54,8 a 100%, com uma média de 75,7%. A revista com menor % de citação foi a única do extrato Q3 do ranking SJR (são 4 extratos, de Q1 à Q4); as outras eram dos extratos Q1 e Q2. Do conjunto de publicações (3756 artigos), 2811 foram citados: 74,8% do total. Ou seja, ao redor de 75% dos artigos (de 3 de cada 4 publicações) desse conjunto de periódicos recebem pelo menos 1 citação.
O que se passa com as revistas nacionais?
Nas revistas nacionais há uma variação muito grande no CPP, com dois periódicos acima de 1, seis entre 0,3 e 0,9 e uma com valor muito reduzido (CPP=0,08). O CPP médio das nove revistas foi de 0,68. Caso a revista de menor impacto seja removida e recalculada a média, o CPP da amostra sobre um pouco, para 0,76. Nenhuma das revistas nacionais está no extrato Q1 do ranking SJR. Duas delas estão no extrato mais baixo, o Q4.
As duas revistas de maior impacto publicaram 32% do total de artigos nacionais de Saúde Pública (1075 artigos de um total de 3347). Os artigos dessas duas revistas receberam, juntos, 1380 citações, ou seja, 48% das citações das nove revistas juntas. Por outro lado, a revista de menor impacto publicou 148 artigos, citados apenas 12 vezes.
Ao comparar o CPP das revistas europeias com as do Brasil, percebe-se uma grande diferença. A média das revistas da Europa (CPP=2,51) é 3,7 vezes maior que as do Brasil (CPP=0,68). Caso se desconsidere a revista nacional de menor impacto, a diferença de CPP entre nós (CPP=0,76) e as revistas europeias é de 3,3 vezes. Apenas uma das nove revistas nacionais apresenta um CPP dentro dos padrões europeus (CPP=1,707). Esse periódico é a Revista de Saúde Pública, da USP (identificada como “BR1”).
O percentual de artigos citados por revista também varia bastante. A Revista de Saúde Pública apresentou 63% de artigos com citação, e nas outras revistas variou de 7% a 54%. O valor médio de artigos com citação das nove revistas foi de 38,8%. Novamente; caso se remova a revista de menor impacto, a média aumenta para 42,8%.
Uma conta “global”: dos 3347 artigos totais, 1494 foram citados pelo menos uma vez (44,6% dos artigos foram citados); 42% dos artigos recebe citação (aproximadamente 2 de cada 5 artigos é citado). Pior: 3 de cada 5 estudos não é citado.
O resultado comparativo das revistas brasileiras de Saúde Pública é substancialmente melhor do que as da Educação: apenas 17% dos artigos, das melhores revistas nacionais no ranking SJR de 2015, recebiam pelo menos 1 citação. É um resultado muito inferior à amostra de revistas europeias de Saúde Pública, em que 3 de cada 4 artigos são citados.
Atualização de dados
Escrevi a primeira parte desse artigo em maio, com base em um banco de dados do Scimago Journal Ranking, atualizado em 1º de junho de 2019. Com isso, os resultados de citações e de percentual de artigos citados mudou (para as publicações do triênio analisado 2015-2017). Para não precisar refazer os cálculos, comparei os valores atuais de CPP e de percentual de artigos citados (%-cited) com os utilizados no presente artigo. Fiz isso apenas com as revistas nacionais. Os valores de CPP aumentaram (na média) 7,7% e dos de %-cited aumentaram 5%. O que isso significa? Apesar dos valores terem sido alterados, isso não alterou o chamado “dado qualitativo” – o baixo impacto dos artigos de nossas revistas de Saúde Pública.
Área de Saúde Pública do Brasil em impacto mundial
Em termos de quantidade de artigos, o Brasil produziu 2046 artigos em 2017, o que nos colocou na 7ª posição do mundo em quantidade (EUA em 1º, com 16,2 mil artigos). Entre os países que publicaram pelo menos 500 trabalhos de Saúde Pública (24 países), ficamos em 22º lugar em impacto (CCP=1,57), com a Suíça em 1º (CPP=3,91), e em antepenúltimo lugar, com apenas 40% do impacto da Suíça.
Em 2016 estávamos também em 7º lugar em quantidade de artigos de Saúde Pública, mas em 18º no ranking CPP de 24 países com pelo menos 500 publicações. Tivemos 50,4% do impacto do 1º lugar, a Bélgica (Suíça ficou em 2º, em 2016).
Os anos anteriores: 22ª lugar de 24 países em 2015; 21º lugar de 23 países em 2014; 20º lugar de 23 países em 2013. O impacto do Brasil – medido em CPP – em relação ao 1º lugar (Suíça) variou de 42,2% a 45,6% nesses três anos.
Impacto mundial em 2018 (Brasil e Índia)
Deixei para tratar de 2018 no fim pelo seguinte: ficamos em 7º lugar no ranking de quantidade de artigos entre 2013 e 2017, mas em 2018 caímos para 8º lugar (2252 publicações). Em impacto, ficamos com 43,3% do CPP do 1º lugar (Suíça).
Mas voltemos o olhar para a Índia, país que publica muitos trabalhos científicos como o Brasil, mas que apresenta impacto mundial muito reduzido: 5º lugar do mundo em quantidade de publicações (com 171 mil artigos científicos em 2018), mas 58º lugar no ranking CPP de 2018 entre 61 países com ao menos 5000 publicações – o Brasil ficou em 52º lugar nesse ranking.
Na quantidade de artigos relacionados à Saúde Pública, a Índia ficou uma posição atrás do Brasil (8º lugar), entre 2013 e 2017. Mas em 2018 ascendeu para o 6ª lugar mundial na quantidade de artigos na área (2466 publicações). Isso seria motivo de júbilo para a Índia não fosse sua péssima posição nos rankings de impacto – consegue ficar sempre abaixo do Brasil no ranking CPP (desde entre 2013). Em 2017 e 2018, a Índia apresentou 32-33% do CPP da Suíça na área da Saúde Pública. Ou seja: não adianta publicar em grande quantidade, mas sim com qualidade e impacto. Precisamos de exemplos entre países que publicam com impacto, não apenas em quantidade.
Considerações finais
Antes de concluir, gostaria de acrescentar as considerações de uma colaboradora. De acordo com a Profa. Maria Célia Delduque (pesquisadora da Fiocruz do DF), “a saúde pública é uma área voltada às necessidades coletivas, um campo diferenciado do saber que transcende as ciências médicas para se ocupar, principalmente das necessidades de saúde de todos. No âmbito da atividade científica na saúde pública tem-se que tal atividade se desenvolva em uma permanente busca de soluções, de ideias e de fatos e de formulação de hipóteses, bem como o encontro de conhecimentos passíveis de serem tecnologicamente utilizáveis na melhoria constante da qualidade de vida da população”
Ela prossegue: “Como forma de dar publicidade e divulgar os resultados da atividade de pesquisa, a publicação em periódicos científicos especializados é a conduta esperada de todo aquele que com financiamento público ou privado emprega seus conhecimentos para melhorar a vida e a saúde das pessoas, por meio da pesquisa básica ou aplicada em saúde. No entanto, é esperado que a publicação dos resultados de pesquisa tenha impacto junto à comunidade científica, que reconhecendo os méritos do trabalho publicado, faz citações repetidamente, objetivando potencializar a publicidade dos resultados. Isso porque, uma pesquisa deve beneficiar o maior número de pessoas e servir de base para outras pesquisas, em todo o mundo”. Infelizmente observamos que há pífio impacto de nossas publicações na área.
Conclusão
Não tenho o objetivo – neste artigo – de procurar as causas do baixo impacto da pesquisa em Saúde Pública no Brasil para fazer uma crítica destrutiva. De modo algum. Entretanto, é preocupante o fato de que, grande parte de seus autores (em média, pouco lidos e citados) são pessoas muito influentes nas políticas públicas de promoção da Medicina e da Saúde. Será que os resultados aqui apresentados têm alguma relação com a catastrófica situação da saúde no Brasil? Será que realmente os pesquisadores (em Saúde Pública) têm consciência do que estão fazendo? O Brasil quer mudanças. Não podemos continuar na disputa “de quem é pior” com a Índia na área da Saúde Pública. Precisamos disputar posições com as melhores nações do mundo!
PS: Agradeço o Prof. Dr. Ricardo da Costa, da UFES, pela revisão deste texto.
* Marcelo Hermes-Lima é pesquisador e professor de bioquímica na Universidade de Brasília (UnB). Tem 6 mil citações em revistas científicas internacionais.
© 2019 O Livre. Publicado com permissão. Original.
Leia também: Pesquisa no Brasil: impacto global e estratégias de solução