De acordo com uma denúncia anônima enviada à Gazeta do Povo por um professor universitário, a área de Administração Pública e de Empresas, Contabilidade e Turismo da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) – agência do Ministério da Educação responsável por avaliar cursos de pós-graduação no Brasil – estaria recorrendo a uma manobra para permitir que revistas de um grupo privilegiado de instituições sejam “superavaliadas”. Altas avaliações nesses periódicos se traduzem em melhores notas para os cursos de mestrado e doutorado dessas instituições e garantem vantagens diversas aos pesquisadores e/ou professores que publicam artigos científicos nesses veículos.
Em maio de 2019, a Gazeta do Povo já havia denunciado supostos artifícios do comitê de Administração da Capes para aumentar a avaliação de periódicos de instituições de ensino específicas e favorecer melhores notas para seus cursos.
Como funciona a avaliação de cursos e revistas científicas pela Capes
Os cursos de mestrado e doutorado no Brasil são classificados em uma escala de 1 a 7 pela Capes. A nota mínima para funcionamento de cursos de mestrado é 3, e 4 para os de doutorado. Parte da composição dessa nota está relacionada à produção intelectual de seus professores permanentes. Essa produção é mensurada pelo volume de artigos publicados pelos docentes em revistas científicas de renome ou pelo prestígio de periódicos editados pela própria instituição.
Para avaliar a qualidade das revistas, a Capes utiliza um sistema chamado “Qualis Periódicos”. Esse sistema, que possui diversos critérios para classificar os periódicos, atualmente conta com oito estratos de classificação: A1, A2, A3, A4, B1, B2, B3 e B4. Uma das principais métricas para avaliação das revistas está relacionada ao Fator de Impacto (FI) – método bibliométrico que contabiliza o número de citações que artigos científicos fazem a uma determinada publicação.
Nos estratos superiores (A1, A2, A3 e A4) estão as revistas de altíssimo prestígio. Quanto mais próximo desse topo um periódico estiver, melhores serão as avaliações dos cursos que possuam em seu quadro professores autores desses artigos. Além disso, quando um docente publica um artigo em uma revista com alta avaliação, isso se traduz em benefícios diversos em termos de carreira: há valorização de seu currículo, maiores possibilidades de obter promoções (em instituições federais, por exemplo, publicações desse tipo mensuradas pelo Qualis favorecem progressões de carreira aos docentes); mais possibilidades de obter verbas públicas para financiamento de pesquisas científicas; e mais chances de aprovação em concursos públicos, já que os candidatos são avaliados não somente por provas, mas também por títulos.
Em outras palavras, ter um periódico bem avaliado pelo Qualis é um ótimo negócio tanto para os professores da instituição quanto para as próprias instituições. E isso, por si só, não representa nada de errado ou antiético.
Entretanto, segundo a denúncia apresentada à Gazeta do Povo, o Comitê de Administração Pública e de Empresas, Contabilidade e Turismo da Capes estaria, desde o segundo semestre de 2019, potencializando a avaliação de um indexador de uso específico para esta área (que não é utilizado em nenhuma das outras áreas da Capes – Medicina, Psicologia, Ciências da Computação, etc.). Trata-se do indexador chamado Spell (Scientific Periodicals Electronic Library), criado em 2012 pela Associação Nacional de Pós Graduação e Pesquisa em Administração (Anpad) e, desde 2016, utilizado pela área de Administração para classificar revistas no Qualis.
Mecanismos para privilegiar um grupo seleto de instituições de ensino superior não são uma novidade, como publicado nesta matéria em maio de 2019, que denunciou a prática de aumentar, de forma subjetiva, a avaliação de periódicos pertencentes a instituições de ensino superior de renome. Essa avaliação qualitativa consistia em promover periódicos específicos (17 deles do estrato B1 para o A2) simplesmente por serem considerados “os mais relevantes”, sem nenhuma justificativa técnica. Dois meses depois, em julho, a Capes anunciou mudanças na metodologia para avaliação do Qualis Períodicos – nessa nova metodologia, todas as áreas passariam a obedecer aos mesmos mecanismos de classificação, o que foi chamado de “Qualis Único”.
Porém, ainda assim, 14 das 17 revistas que haviam sido apontadas como “superavaliadas” permaneceram no topo da lista do "Qualis Referência" (uma listagem das revistas com suas respectivas notas). As boas posições dessas revistas chamam a atenção porque elas não estavam sendo bem classificadas nas bases internacionais que a Capes diz ter seguido para os cálculos: Scopus (CiteScore), Web of Science (Fator de Impacto) e Google Scholar (índice h5). Uma análise mais detalhada constatou que tal posição foi mantida pela superestimação dos valores do Spell. Até 2017, o indexador garantia aos periódicos apenas uma posição B1 no Qualis. Após o abandono do ajuste qualitativo, o Spell passou a assegurar às revistas uma posição A2.
Em uma reunião da área de Administração Pública e de Empresas, Contabilidade e Turismo realizada em 12 de setembro do ano passado na sede da Capes, em Brasília, foram divulgados os critérios que seriam adotados pelo Qualis Periódicos referentes a essa área no próximo quadriênio.
Na reunião, que contou com a participação do docente que apresentou os fatos à Gazeta do Povo, este narrou (e encaminhou à redação fotos dos slides apresentados na reunião) que a área indicou que abandonaria a prática de ajustar qualitativamente as revistas, mas estabeleceu a equiparação do indexador Spell aos indexadores internacionais mais utilizados para avaliação de periódicos científicos em todo o mundo. Ocorre que deste indexador participam somente revistas nacionais, isto é, ele desconsidera revistas internacionais de renome. Com esta manobra, periódicos que pertencem a um grupo de instituições privilegiadas teriam melhor avaliação e menor concorrência para estarem no topo do ranking. Reforça-se que, até antes desta decisão, o Spell já era utilizado para o ranqueamento das revistas, contudo periódicos avaliados por este indexador poderiam alcançar somente até a faixa B1, já que as faixas mais altas são avaliadas pelos indicadores internacionais Clarivate e o Scopus. Desde então, o Spell permite avaliar as revistas até a faixa A2.
“Para indexar as revistas no estrato ‘A’, tradicionalmente utiliza-se dois fatores de impacto: o Scopus e o Clarivate. Mas as revistas que têm sido beneficiadas nunca possuíam um fator de impacto suficiente para chegar aos estratos mais elevados. Os artigos publicados por essas revistas não recebem amplo interesse internacional, não tem muitas citações”, explica o professor. “Porém essas revistas pertencem a grupos de lobby dentro do comitê e chegam a concentrar 80% da produção científica desses pesquisadores. Seria apocalíptico deixá-las serem avaliadas meramente por seu fator de impacto. Por terem FI baixo, elas cairiam automaticamente para o estrato B1 e a maioria dos pesquisadores da área perderiam suas bolsas e financiamento”, afirma.
De acordo com o docente, para assegurar que esses periódicos supostamente privilegiados continuassem com estrato A2, a área estabeleceu um recorte sob medida fazendo com que as publicações ficassem exatamente no mesmo estrato do Qualis anterior aos ajustes anunciados em julho de 2019.
“Quando essa informação foi anunciada na reunião em Brasília, houve uma grande polêmica porque decidiram igualar a importância do Spell (fator de impacto nacional recém-criado) ao de fatores internacionais já consolidados e utilizados há mais de trinta anos”, diz o pesquisador. “Apesar de os presentes na reunião insistirem que o Spell deveria começar em A4, o comitê de Administração insistiu em mantê-lo em A2. Um completo absurdo”.
Os efeitos desse artifício se dividem em aspectos financeiros e de pesquisa. Quanto ao primeiro aspecto, como dito anteriormente, vários dos recursos financeiros para pós-graduação são influenciados pela boa avaliação de periódicos no Qualis. Os professores vinculados a essas instituições têm à mão revistas e, a cada artigo publicado, são beneficiados, ao mesmo tempo em que favorecem o aumento das notas das instituições. “Professores e pesquisadores que não dão aulas nessas instituições privilegiadas têm grande dificuldades em publicar artigos nessas revistas ou em outras de prestígio. É uma competição injusta”, afirma o professor.
O outro aspecto prejudicado é o da pesquisa. Pesquisadores que não fazem parte desse grupo “prioritário” de periódicos e instituições de ensino precisam publicar artigos científicos em revistas internacionais com critérios de avaliação muito mais rígidos, o que leva a um esforço de pesquisa muito maior. “A perda em ciência com essas manobras é enorme porque o valor dessas pesquisas é manipulado”, declara o docente denunciante.
O que diz a Capes e a Anpad
A reportagem questionou a Capes sobre a procedência das informações apresentadas, o motivo pelo qual valores do Spell foram superestimados, o impacto desse ajuste sobre o conceito dos cursos e solicitou uma avaliação, por parte da agência, quanto ao uso do indexador Spell, por parte da área de Administração, mensurando fator de impacto e ranqueando de forma mais favorável instituições. Em resposta, a Capes enviou a seguinte nota:
“O Qualis, conjunto de procedimentos utilizados pela CAPES para avaliação da qualidade da produção intelectual dos programas de pós-graduação, está passando por reformulação e terá novos critérios a partir de 2021, quando começa no novo ciclo/quadriênio avaliativo (2021/2024). Estão sendo propostos os seguintes indicadores de classificação de periódicos: CiteScore (base Scopus), JCR (base Web of Science) e índice h (Google Scholar). Outras bases indexadoras poderão ser utilizadas para fins de composição do universo de periódicos representativos da área, que poderão ser definidas pelas próprias áreas de avaliação”.
Da mesma forma, a reportagem entrou em contato com a Anpad e solicitou a avaliação da entidade quanto às alegações feitas pelo professor, bem como questionou sobre os critérios utilizados para indexar revistas (e de que maneira eles diferem dos adotados pelo Clarivate e Scopus), os mecanismos que permitem a permanência dessas revistas na base Spell e os motivos pelos quais não há revistas internacionais dentro do Spell. Em nota, a associação informou que em seu site há informações sobre a inclusão de periódicos e citou o manual Boas práticas de publicação científica e as normas de gestão e governança da entidade.
Prossegue a nota:
“Esses documentos orientam a manutenção e geração do impacto dos periódicos presentes no SPELL, os quais possuem avaliação por pares às cegas (blind-review) e não cobram para publicar trabalhos. Este último aspecto, somado ao impacto sem autocitações gerado pelo SPELL, é um diferencial em comparação com outras bases internacionais de indexação.
A ANPAD divulga o SPELL em seu site oficial e redes sociais na internet visando alcançar cada vez mais um público interessado na produção gerada principalmente pela comunidade acadêmica brasileira, para além das fronteiras nacionais.
Por fim, entendemos ser uma prerrogativa da CAPES, definir as bases de indexação e os indicadores qualificados para subsidiar a avaliação de periódicos em cada Área de Conhecimento, como tem sido periodicamente esclarecido em documentos publicados no site desta instituição”
Capes fará nova avaliação dos cursos de pós-graduação no país
No dia 17 de novembro, foi publicado no Diário Oficial da União o calendário de avaliação dos cursos de mestrado e doutorado pela Capes. A coleta de dados começará em janeiro de 2021 e a divulgação preliminar dos resultados está prevista para 18 de outubro. Destaca-se que, caso a metodologia da área de Administração Pública e de Empresas, Contabilidade e Turismo permaneça como está, cursos de instituições que possuem periódicos “superavaliados” permanecerão favorecidos com notas mais altas.