Qualis “inflado”: manobra na Capes aumenta notas de programas de mestrado e doutorado

Uma decisão na Capes, entidade do Ministério da Educação responsável por avaliar cursos de pós-graduação, acabou por aumentar, por meio de critérios subjetivos, os conceitos de um grupo reduzido de cursos de mestrado e doutorado de Administração. E, por tabela, abriu um caminho mais fácil a verbas de pesquisa dos órgãos de fomento a um grupo de pesquisadores. Só em bolsas de produtividade oferecidas na área pelo CNPq foram quase R$ 19 milhões, entre 2013 a 2016, sem contar a possibilidade de sair na frente na corrida para receber recursos de outros programas de investimentos públicos.

Os cursos de mestrado e doutorado no Brasil são classificados em uma escala de 1 a 7. A nota mínima para funcionamento de cursos de mestrado é “Capes 3” e, de doutorado, “Capes 4”.

Texto técnico: "Qualis inflado": entenda os cálculos utilizados nesta matéria

Cerca de 40% da nota de um curso de mestrado e doutorado depende da “produção intelectual” dos seus professores permanentes. A produção intelectual é medida pela quantidade de artigos publicados pelos docentes em revistas de prestígio e/ou pela qualidade das revistas de prestígio editadas pelo curso.

Para classificar as revistas da forma mais objetiva possível, a Capes criou o sistema “Qualis”. O Qualis utiliza uma série de critérios para classificar as revistas em 8 categorias ou estratos: A1 (100 pontos), A2 (80 pontos), B1 (60 pontos), B2 (50 pontos), B3 (30 pontos), B4 (20 pontos), B5 (10 pontos) e C.

Como as áreas do conhecimento são diferentes – os critérios utilizados em Biologia não são os mesmos adotados em revistas de Educação, por exemplo –, cada uma delas tem um comitê dentro da Capes que, a cada quatro anos, reclassifica todas as revistas dos cursos.

A manobra feita pelo comitê responsável por avaliar as revistas científicas de Administração consistiu em promover, por serem “considerados os mais relevantes” – sem explicar o que isso significa –, 23 periódicos, 17 dos quais do estrato “B1” para o estrato “A2”. A decisão foi tornada pública em dezembro de 2017. Com isso, 3.015 artigos passaram de “B1” para “A2”, injetando 60,3 mil pontos a esse grupo de revistas.

Com isso, programas conceito 4, 5, 6 e 7 concentraram 83,68% dos artigos, se beneficiando do ajuste “inflado” do Qualis. Os cursos 7, por exemplo, perderiam 68% de seus artigos “A2” caso não tivessem sido beneficiados.

“Pelos critérios da área, o docente de um programa de pós-graduação deve ter pelo menos dois artigos ‘A2’. Mas esses artigos que foram alçados para ‘A2’, na verdade, seriam ‘B1’, o que diminuiria a nota desses cursos”, afirma um professor da área, que não quis se identificar, e que fez o levantamento para a Gazeta do Povo.

Critérios mutantes

Outro professor aponta como problemático o fato de o comitê de Administração, como outros dentro da Capes, mudar os critérios constantemente. “Se você tomar a última década, os critérios mudaram nas últimas avaliações. Em 2010, contava a quantidade de papers em periódicos e congressos, 150 pontos; de 2013 a 2016, usou-se a mediana com o Qualis, etc.; e os professores que não têm contatos lá dentro só sabem dos critérios no fim do período, eles fazem a barra do gol depois que o cara chuta. Para este ano, por exemplo, não foram publicados os critérios ainda”, afirmou.

Leia também: “Tamanho não é documento”: nossas universidades produzem milhares de pesquisas, mas impacto global é pequeno

“Tem revistas que estão indexadas no Scopus, no JCR [reconhecimento de qualidade internacional], e que são apenas ‘B1’; e outras revistas de Administração, que não têm sequer um reconhecimento em índices de qualidade e que têm classificação ‘A2’. Colegas com trabalhos reconhecidos não conseguem abrir cursos de mestrado e doutorado porque a Capes não os classifica bem”, afirma. “Acho que isso não vai mudar nunca, o grupo é muito fechado”.

Outras áreas

Pesquisa realizada na USP para analisar como o Qualis classifica as revistas acadêmicas de Ciência Política e Relações Internacionais identificou que os critérios utilizados pelos comitês na Capes não seguem os principais indicadores internacionais de qualidade utilizados para avaliar a produção científica.

Com isso, revistas brasileiras de grande impacto, reconhecidas por esses indicadores, algumas vezes não são bem cotadas pela Capes e, por outro lado, revistas lidas apenas por um pequeno grupo de brasileiros acabam recebendo notas melhores do comitê nacional.

Dessa forma, um professor pode publicar artigos de qualidade, mas como sua revista não está dentro daquelas que são valorizadas pela Capes, seu curso de mestrado ou doutorado tem uma nota menor – ou nem poderá funcionar.

“O que questionamos na avaliação das revistas estudadas é que, mesmo tendo algumas características objetivas, tudo o que se faz tem sempre um critério subjetivo”, explica Lorena Barberia, professora do Departamento de Ciência Política da Faculdade de Filosofia, Letras e Ciências Humanas (FFLCH) da USP.

Revistas reconhecidas internacionalmente, como a Nature, não mudam os critérios frequentemente, como ocorre nos comitês de avaliação na Capes. “Em geral, o que sabemos na comunidade acadêmica, é que boas revistas não mudam seus critérios. São boas sempre. Então, por que é preciso alterar os critérios a cada três ou quatro anos se em geral isso deveria ser ao longo do tempo uma coisa mais estável?”, questiona.

A professora não quis comentar a avaliação do comitê de Administração, pois desconhecia os dados apresentados pela reportagem. De qualquer forma, ela acredita que, de modo geral, os comitês da Capes deveriam dar mais peso a índices de qualidade reconhecidos internacionalmente e, portanto, mais objetivos.

“Uma pesquisa é boa por que a comunidade científica em geral a reconhece como tal. Esse assunto é delicado e controverso, mas impacto e citação, de forma objetiva, deveriam ser valorizados, com outros critérios perenes”, afirma Barberia.

Caminhos para o Qualis

A forma de classificação das revistas pelo sistema Qualis é melhor do que a ausência de uma métrica. Mas muitos pesquisadores concordam que ele precisa ser aprimorado.

“Trata-se de uma solução que evita ou ajuda a superar ou simplifica as complexidades de elaborar e operar um sistema próprio de avaliação das pesquisas independentemente ou além do veículo onde é publicada”, explicou por e-mail o professor Abel Packer, diretor do programa Scielo. “Entre os pesquisadores, quase sempre, a aprovação de um artigo por um periódico de prestígio na sua área representa um reconhecimento chave para a sua carreira acadêmica”, continua.

Packer concorda, porém, que há limitações. Como, por exemplo, o fato de que as citações recebidas pelos artigos em uma revista acadêmica são assimétricas, sendo que, em geral, 25% a 30% dos artigos recebem 70% a 75% das citações. Sendo assim, ao categorizar uma revista como “A1”, por exemplo, os artigos de menor qualidade “vão de carona nos artigos de maior impacto”. “O impacto real da pesquisa não é medido precisamente, pois os artigos mais citados são rebaixados para a média do periódico e os menos citados são alçados para a média”, explica.

Leia também: Presidente quer reduzir investimentos em faculdades de filosofia e sociologia. Faz sentido?

Para ele, o sistema Qualis seria melhor se avaliasse as revistas segundo impactos previamente projetados; os artigos fossem analisados individualmente, sem levar em conta o local onde foram publicados, e pela publicação da pesquisa em periódicos de acesso aberto.

“A avaliação da pesquisa baseada unicamente no valor de face do periódico deve ser um dos critérios, mas se deve privilegiar o impacto real da pesquisa com base no número de citações que recebe”, sugere. Do contrário, a mensagem dada aos pesquisadores é “trate de emplacar o artigo no periódico de maior impacto”.

Resposta da Capes

Por nota, a Capes não quis responder às questões da reportagem, nem sobre a elevação das notas das revistas e nem contestar a suposta falta de transparência na divulgação dos critérios. Disse apenas, por nota, que instituiu um grupo de trabalho para rever “os princípios e conceitos que regem este instrumento para torná-lo mais claro e transparente”. “Espera-se que o Qualis a ser usado no quadriênio em vigor (2017 a 2020) venha a sanar e dirimir as distorções identificadas no quadriênio anterior (2013 a 2016).”