Qualis “inflado” em revistas de Administração: entenda os cálculos

A pedido de leitores, colocamos abaixo um passo a passo de como encontrar os dados que fundamentaram a reportagem “Qualis ‘inflado’: manobra na Capes aumenta notas de programas de mestrado e doutorado de Administração”. O texto mostrou como cursos de pós-graduação tiveram mais facilidade para conseguir melhores notas por decisões questionáveis do comitê que avalia os periódicos da área. A produção desse texto explicativo teve a ajuda de um professor de Administração, que preferiu não se identificar, por medo de represálias.

* Elaborado com colaboração de Denise Drechsel.

1) Revistas elevadas por “critérios subjetivos”

Em 2017, o comitê da Capes responsável por avaliar as revistas científicas de Administração, após divulgar cálculos de como classificaria os periódicos, informou ter promovido, por serem “considerados os mais relevantes”, 23 periódicos, 17 dos quais do estrato “B1” para o estrato “A2”. Os critérios são considerados subjetivos por que não é possível mensurar por que essas revistas foram classificadas como “mais relevantes”.

Esse dado está no documento "Considerações sobre Qualis Periódicos", da área de Administração, na página 6:

“Alguns periódicos editados no Brasil e considerados os mais relevantes para a área foram classificados em um estrato acima daquele em que seriam classificados (...). A lista destes periódicos foi definida no início do Quadriênio 2013-2016. Assim, se o periódico foi considerado B2 pelos critérios de classificação, ele passou a B1, por exemplo. Os artigos destes periódicos nos anos de 2013 e 2016 representaram cerca de 10% do total de artigos da área. A área reforça que os editores dos periódicos deverão fazer esforços extras que assegurem o atendimento aos critérios de classificação. O comitê da área reforça também que não há garantia de continuidade do procedimento de promoção dos periódicos, adotado até esta classificação [grifo da Capes].”

É importante salientar que o documento de área fala que tais periódicos representam 10% do total de artigos. Porém, esse valor considera os estratos B5, B4, B3, B2, B1, A2 e A1. Também computa o artigo apenas uma vez.

Porém, a metodologia de cálculo da Capes permite que o artigo pontue mais de uma vez. Isso ocorre porque a matriz de análise é a pontuação realizada por um docente permanente do programa. Assim, se dois docentes participarem do mesmo artigo como coautores esse manuscrito será pontuado duas vezes para o mesmo programa.

Outro exemplo seria a contagem de pontos de um artigo com quatro autores, sendo dois de um programa e dois de outro programa. Nesse caso, o manuscrito computaria quatro vezes, sendo duas vezes para cada programa.

Como a Capes, por meio do comitê da área, adota tal metodologia, nosso levantamento, considerou o número de vezes que o artigo pontuou para o programa, em cada programa. A única ressalva é que o manuscrito não pode pontuar mais que duas vezes no programa, conforme descrito adiante.

2) “3.015 artigos passaram de ‘B1’ para ‘A2’ , injetando 60,3 mil pontos a esse grupo de revistas”

Para chegar a esses números, basta acessar as planilhas de indicadores disponibilizada pela Capes nesse link, e baixar a correspondente à área de “Administração Pública e de Empresas, Ciências Contábeis e Turismo”, de número 27.

Na planilha “produções_lista” é possível calcular, pela coluna “Z6”, a quantidade de artigos “A2”. Aqui é importante ter em conta que um artigo pode ser computado mais de uma vez, dependendo do número de coautores, mas o comitê considera o máximo de dois coautores na pontuação (por isso, é necessário excluir, na coluna “AF6”, o “0”, “3” e “4”). Nesse caso, consideramos apenas até duas coautorias. É possível analisar a planilha considerando 3 ou mais coautorias como 2 autorias. Nesse levantamento, isso gerou números ainda mais elevados de dependência, por isso optou-se aqui por usar a metodologia mais conservadora.

O total de artigos “A2” resultante é 4.504, dos quais 3.015 (66,94%) se concentram nas 17 revistas elevadas de estrato. Nessa fase, como uma mesma revista pode ter vários registros “ISSN”, é necessário tratamento manual. Além disso, como documento da Capes não informou o ISSN é preciso analisar cada caso através do título x ISSN x Qualis.

Conclui-se que como tais periódicos deveriam pertencer ao estrato B1 (60 pontos), mas foram elevados para o estrato A2 (80 pontos), a área injetou um total de 60.300 pontos nesse conjunto de revistas [3.015x (80-60)=60.300].

3) “Cursos 7, por exemplo, perderiam 68% de seus artigos ‘A2’ caso não tivessem sido beneficiados”

Na mesma planilha da Capes, em “produções_lista” é possível verificar a quantidade de artigos por estrato em cada programa de pós-graduação. Imagina-se que os cursos considerados de excelência – 5, 6 e 7 – tenham a maior quantidade de artigos no estrato “A1” e “A2”. Porém, ao analisar a distribuição de artigos, temos o seguinte:

Em outras palavras, se as revistas não tivessem sido priorizadas, os cursos 7 perderiam 68% de seus artigos A2. O grau mais intenso de perda está nos cursos 5, que perderiam, em média, 71% de seus artigos indexados em tal estrato.

Aqui foram considerados os conceitos disponibilizados no resultado da avaliação quadrienal 2017.

4) "O docente de um programa de pós-graduação deve ter pelo menos dois artigos ‘A2’", para que o programa tenha uma boa nota

Os critérios da Capes afirmam que um programa somente pode abrir ou manter curso de doutorado se obtiver conceito 4. E, para obter o conceito 4, deve-se atingir conceito “bom” em “Produção Intelectual”, conforme determinação da Capes:  

c) Proposta de recomendação para nota 4: A concessão da nota 4 será possível para Programas que tenham alcançado, no mínimo, conceito “Bom” em pelo menos três quesitos, incluindo, necessariamente, os Quesitos 3 e 4 (Portaria Nº 59, de 21 de março de 2017).

Além de servir como um “veto”, devido ao valor mínimo de 4 no conceito, o critério “produção intelectual” equivale a 35% da nota geral. Para o cálculo desse valor, a área de Administração utiliza os seguintes quesitos:

4.1 Publicações qualificadas do Programa por docente permanente (página 36 do Relatório da Avaliação Quadrienal 2017 – Administração):

a) Métrica 1: Produção total de todos os docentes permanentes (inclui todas as produções nos quatro anos de todos os docentes).

b) Métrica 2: Só considera as três melhores por docente. Cada artigo só conta duas vezes. “Foram consideradas as três melhores produções de cada DP no quadriênio, alinhadas à proposta do PPG.[...] Cada publicação (artigo/livro/capítulo) foi considerada apenas duas vezes no cálculo desta média” , diz o documento.

O problema está aqui:

“A atribuição dos conceitos para este indicador seguiu a distribuição em quartis”.

Em outras palavras comissão ranqueou todas as três melhores publicações, de todos os docentes permanentes, de todos os programas. Mas essas publicações foram calculadas com artigos do Qualis inflado (B1 e A2, mas que deveriam ser B2 e B1, respectivamente). Assim, a comissão usou as notas dos programas, computando B1 como A2 e B2 como B1, alavancando a escala de conceitos. Isso gerou uma matriz de conceitos para essa métrica:

Observem que o conceito “Bom” demanda a produção média do programa de 70 pontos anuais em três melhores publicações. Computando no Quadriênio, isso equivale a 70 x 4 = 280 pontos. Com três manuscritos por quadriênio, é impossível chegar a esse escore sem que exista, em média, ao menos uma publicação no estrato A2/docente/programa.

4.2 Publicações qualificadas em relação ao corpo docente do programa (página 37 do Relatório da Avaliação Quadrienal 2017 – Administração):

Aqui utiliza-se o percentual de docentes permanentes do programa que alcançaram a mediana da área. Esse é mais um indicador que foi enviesado pelo Qualis inflado. Isso porque a mediana também foi calculada com os artigos que foram elevados. Como a mediana ficou aproximadamente em 210 pontos, novamente observa-se que é impossível alcançar esse valor sem que existam manuscritos no estrato “A”. A opção que é menos rigorosa para alcançar a mediana seria a produção de: A2+A2+B2 (80+80+50).

Novamente aqui observamos que o escore da área obriga que 40% dos docentes tenham alcançado a mediana para obter o conceito “bom”.

Essas duas métricas juntas representam 60% da nota de produção intelectual e 21% da nota global do programa. E foram enviesadas tanto no cálculo do escore do programa quanto na definição da escala de julgamento.

Para obter um conceito “bom” no quesito “Produção Intelectual” (condição essencial para manter um curso de Doutorado), o programa deveria tirar:

Nesse caso, 4 equivale a um conceito “Bom”. Assim, conclui-se que a manobra de “superavaliar” revistas enviesou duas escalas e três critérios de julgamento, totalizando 85% (25%+25%+35%) dos pesos. E toda essa ação foi realizada sobre um critério que é utilizado como veto para manutenção de cursos de Doutorado.