Embates na Capes revelam briga de poder pela avaliação de cursos de pós-graduação

A reação a uma portaria publicada pela Capes, do Ministério da Educação (MEC), na semana passada, revelou uma briga interna na agência e na comunidade de pesquisadores sobre como devem ser avaliados os programas de pós-graduação no Brasil. E a briga é por poder, dinheiro e prestígio: cursos de mestrado e doutorado bem avaliados pela agência conseguem mais bolsas e outros recursos públicos, com muitos benefícios às instituições de ensino superior à qual estão vinculados.

>> Faça parte do canal de Vida e Cidadania no Telegram

O cenário é complexo: de um lado, pesquisadores que se sentem injustiçados nas avaliações dos cursos de mestrado e doutorado reclamam dos membros do Comitê Técnico Científico do Ensino Superior (CTC-ES) da Capes, que estariam apenas ajudando os “amigos” ou quem faz lobby para conseguir boas notas. De outro, os próprios membros do CTC-ES temem que seu poder seja abalado pela Presidência da Capes, que começa a modificar suas decisões e até a sua composição. Em um terceiro fronte está a própria presidente da Capes, Cláudia Mansani Queda de Toledo, escolhida sob a sombra de possivelmente não estar à altura do cargo (por ser oriunda de uma instituição com programas quase reprovados pela própria Capes, a mesma em que estudou o ministro da Educação, Milton Ribeiro), que tenta provar ser isenta aos desejos das instituições particulares e capaz de transformar o processo de avaliação mais justo.

Nesse jogo de interesses, o Brasil perde com o desperdício de dinheiro público em pesquisas ruins ao invés de investir naquelas que poderiam trazer desenvolvimento social e econômico. Isso ocorre, entre outros motivos, porque o sistema atual de qualificação dos cursos de mestrado e doutorado é retrógrado, aberto a injustiças e não fomenta a qualidade da ciência (entenda melhor aqui) – tanto é assim que o Brasil, apesar de estar entre os 15 países que mais publicam pesquisas, caminha para ser o último em impacto acadêmico em 2023. E a Capes, durante a gestão de Jair Bolsonaro, seguiu o caminho dos governos do PT e não fez nada para mudar esse quadro: em 2019 chegou a anunciar mudanças que ficaram no papel; com a última portaria assinada por Claudia Toledo, benéfica para cursos de baixa qualidade, tudo voltou à estaca zero.

“Critérios mutantes” e “panelinhas” na Capes

O estopim da última onda de embates dentro e fora da Capes foi a Portaria 145, do último dia 10 de setembro. A versão sobre os fatos divulgada pelo CTC é que a Presidência da Capes, na calada da noite, teria destruído todo um movimento que permitiria mais objetividade nas avaliações das revistas acadêmicas dos cursos de mestrado e doutorado, voltando atrás nas melhorias, prejudicando a transparência da classificação das publicações pelo sistema Qualis e favorecendo publicações acadêmicas de nível sofrível.

Parte disso é verdade, mas nem tudo. A narrativa CTC esconde algo do qual o próprio comitê tem sido acusado nos últimos anos.

Nesta quarta-feira (22), veio a público uma decisão liminar da Justiça Federal do Rio de Janeiro que suspende a avaliação dos programas de pós-graduação em andamento, a pedido do Ministério Público Federal do Rio de Janeiro (MPF-RJ), pelo fato de os critérios utilizados não serem transparentes. Não é a primeira vez que a Capes é acusada disso: em ação civil pública do sindicato de professores de Minas Gerais, o APUBH (e em outras denúncias), os docentes relatam critérios subjetivos dos conselheiros da Capes para a avaliação dos cursos e das revistas acadêmicas. Precisamente, os professores mineiros apontam que o fato de o CTC da Capes poder mudar as regras e réguas das avaliações “no fim do jogo” (o que permite alterar ao longo do processo os critérios de forma a beneficiar algumas publicações e prejudicar outras) extrapola o seu poder discricionário, “atentando contra os princípios da irretroatividade, da segurança jurídica e da legalidade, publicidade e transparência das regras públicas”.

Na prática, revistas acadêmicas brasileiras com reconhecimento internacional (citadas por outros pesquisadores, indexadas em plataformas de reconhecimento de qualidade mundial, como o Scopus ou JCR) obtêm, por vezes, notas menores que outras, das “panelinhas”. O relato é de muitos professores, que preferem não se identificar porque, como os critérios são arbitrários, temem ser prejudicados nas próximas avaliações do CTC da Capes.

“Colegas com trabalhos reconhecidos não conseguem abrir cursos de mestrado e doutorado porque a Capes não os classifica bem. E os critérios mutantes servem para fazer a barra do gol sob medida para alguns cursos. Se você tomar a última década, os critérios mudaram muito durante as últimas avaliações, e os professores que não têm contatos lá dentro só sabem dos critérios no fim do período. Acho que essa panelinha não vai mudar nunca, o grupo é muito fechado”, disse um dos professores.

De acordo com os procuradores do MPF-RJ que moveram a ação, a aplicação retroativa de critérios afetou as notas de 3.100 programas de pós-graduação (89%), na avaliação de 2013 e 2016, e impacto semelhante pode ocorrer no ciclo de 2017 a 2020.

Em 2019, em reconhecimento de que algumas publicações acadêmicas eram elevadas às mais altas categorias de forma questionável, a Capes prometeu uma série de medidas: criar uma forma única, com critérios objetivos, para categorizar as revistas; colocar entre os parâmetros de qualidade o número de citações das revistas por outros pesquisadores, etc. Os membros do CTC e as coordenações das 49 áreas do conhecimento na Capes trabalharam nesses avanços, mas até 2021 não foi publicado nenhum documento oficial sobre elas. Ou seja, os critérios continuam mutantes durante o processo, apesar da promessa de mais transparência.

Por outro lado, nas discussões, o CTC retirou das disciplinas de Humanidades a necessidade de usar os índices de impacto internacionais, pela dificuldade da área em publicar em revistas acadêmicas importantes fora do Brasil. A queixa é compreensível pelas características da área, mas, ao invés de criar parâmetros confiáveis, o CTC desenhou o “Qualis Referência 1” (QR1) e o “Qualis Referência 2” (QR2). O QR1 utiliza as bases internacionais Scopus e JCR; já o QR2, o Google Scholar. O problema é que o Google Scholar não é um indexador (não mede qualidade), é apenas... o buscador do Google.

“Nenhum lugar do mundo reconhece o Google Scholar como indexador, mas apenas como um serviço de busca. Hoje, se eu quiser criar uma revista e lançar 300 edições com citações, eu posso melhorar o meu score para o Qualis. O Google não controla isso: no meio do Google tem revistas predatórias, pesquisas sem comitê de ética, características impensáveis em indexadores sérios, como Scopus e JCR, ou para quem conhece como avaliar uma pesquisa de verdade. Dentro do Google Scholar tem pesquisas antiéticas com animais, com pessoas, e o Google não tem nenhum controle de qualidade. Estar no Google não é sinônimo de qualidade. Depois do QR2, a brincadeira nos grupos de pesquisadores era que agora só faltava usar o Wikipédia!”, criticou um pesquisador, que também preferiu ficar anônimo por medo de sofrer retaliações na avaliação das notas do seu programa de pós-graduação.

Presidente da Capes abre brecha para revistas de má qualidade

Mas o que estava ruim, por decisão da Presidência da Capes, piorou. Por meio da portaria, a agência não só manteve a falta de transparência na mutação dos critérios de avaliação durante os quatro anos de avaliação, como permitiu a possibilidade que o resultado anunciado em 2017 (que avaliou de forma questionável o biênio 2013 a 2016) pudesse ser adotado nas áreas de conhecimento para o ciclo 2017 a 2020. A transparência é maior, ao adotar critérios conhecidos, mas publicações que ficaram com boas notas por meio de manobras e lobby manterão essas notas até o imbróglio judicial sobre os novos critérios ser resolvido.

E para sepultar de vez qualquer tentativa de exigir qualidade em publicações acadêmicas, o artigo 9º da Portaria determinou itens de “boas práticas” para os editores de revistas científicas que não seguem as exigências das grandes plataformas internacionais, como Scopus ou JCR. Isso significa que o editor de uma revista vai ter de escolher entre seguir as regras controversas do Qualis ou veicular sua pesquisa em revistas de qualidade internacional, correndo risco de perder recursos públicos vinculados ao Qualis.

O professor da UFPE, Paulo Jorge Parreira dos Santos, que faz parte do colégio de Ciências da Vida, do CTC, explica que a portaria prejudica o desejo de exigir mais qualidade das revistas acadêmicas (e de forma indireta das pesquisas). “O artigo 9º sobre violação das boas práticas editoriais possui incoerências e é de difícil aplicabilidade, podendo facilitar recurso de editoras e periódicos de baixa qualidade no que se refere a sua classificação”, afirmou.

Abel Packer, diretor do programa Scielo, pontua, entre outros aspectos problemáticos desse dispositivo, a determinação de revisão cega por pares dos estudos, prática abandonada pelas principais plataformas de pesquisa no mundo. Para ele, esse artigo 9º favorece apenas revistas periféricas.

“A portaria ignora o estado da arte da pesquisa atual que estimula o acesso aberto dos revisores e dos dados das pesquisas. O importante é que o paper seja avaliado por pares, não importa ser aberto; sabemos que existe revisão por pares duplo-cego que é o maior relaxo, que é malfeito. Para que manter as aparências? É muito melhor uma revisão aberta e razoável a algo fechado que não se sabe como foi feito; e não estou dizendo que sempre é malfeito, mas acontece”, diz Packer. “Todas as grandes agências internacionais hoje estimulam o uso do preprint [publicações prévias da pesquisa para escrutínio público]; por que o Brasil é contra o preprint?”, questiona.

Na gestão Bolsonaro, Capes permanece sem atacar principal problema da pesquisa no Brasil

Não se sabe se a Justiça vai obrigar o CTC e a Capes a tornarem os critérios mais transparentes e objetivos. Independentemente do que ocorrer, não há nenhum sinal de que o governo Bolsonaro vai atacar os reais problemas da pesquisa no Brasil, em relação à Capes: o fato de a agência não fomentar pesquisa de qualidade e, ao avaliar arbitrariamente cursos de pós-graduação, deixar espaço para interesses de grupos de instituições públicas e particulares.

“Não vejo no resto do mundo nada parecido com a Capes do Brasil, com essa missão de avaliar a pós-graduação. A pós-graduação no mundo é avaliada com as universidades, com o que elas oferecem, através de indicadores internacionais, índices de impacto social, econômico e acadêmico, destino dos egressos, etc. Existe uma série de itens nos vários rankings, e a pós-graduação está junto. Então, os alunos escolhem a pós-graduação de um determinado país a partir da universidade que a oferece”, explica Amilcar Baiardi, professor aposentado da UFBA, docente da pós-graduação da Universidade Católica do Salvador, doutor em economia pela Unicamp e vencedor do Prêmio Jabuti em 1997.

O processo de avaliação de periódicos na Capes, por meio do Qualis, que até agora tem representado cerca de 40% da nota dos cursos de mestrado e doutorado, é um bom exemplo dessa distorção de uma visão equivocada de como fomentar pesquisa de qualidade – e da força de "panelinhas" em detrimento da ciência de alto nível.

“O sistema Qualis condiciona uma visão da relevância do impacto da pesquisa no Brasil segundo os periódicos onde é publicado. Isso é um erro: o que importa é avaliar a pesquisa em si, o impacto real das pesquisas dos programas de pós-graduação. O sistema de avaliar as revistas e não as pesquisas é manipulável: 65% dos artigos brasileiros publicados estão em periódicos A1 [classificação mais alta de uma revista pelo Qualis], o que significa que é fácil publicar em uma revista A1”, diz Packer.

Para ele, são pelo menos três erros: induzir os pesquisadores a publicar em periódicos classificados, por vezes indevidamente, na categoria “A”; acreditar que todas as pesquisas publicadas em revistas “A” no Brasil são de alta qualidade e diminuir a qualidade dos periódicos em comparação com outros países ao fomentar uma busca exagerada pela publicação neles por pesquisadores que não seguem esses padrões de qualidade internacionais.

“O que ocorre é que um bom pesquisador passa dois anos fazendo pesquisa séria, acaba com muitas citações internacionais, mas se não consegue publicar em uma revista boa no Brasil, está perdido, não tem mais recursos públicos, seu programa de pós-graduação é mal avaliado, isso é um absurdo”, reitera Packer.

De acordo com o diretor do Scielo, há exemplos de outros países que podem inspirar o Brasil. “Não é verdade que é impossível avaliar diretamente a qualidade das pesquisas, há muitas formas de fazer isso, muitos exemplos fora do Brasil que funcionam bem e poderiam nos inspirar, os pesquisadores sabem disso”.

Para que a Capes, com o seu CTC, foque no que interessa, em pesquisa e não em avaliação de periódicos e credenciamento ou descredenciamento de programas de pós-graduação, é preciso mexer em toda sua estrutura, no CTC e até em aliados do ministro Milton Ribeiro – “um vespeiro de interesses econômicos e acadêmicos” como dizem interlocutores de dentro do MEC. E o governo Bolsonaro, agora, segundo eles, não estaria com o foco nisso.

Procurada, a Presidência da Capes não respondeu a questões específicas enviadas pela Gazeta do Povo. A agência afirmou apenas que “todas as medidas adotadas recentemente pela Capes, sejam em relação ao Qualis, ao regulamento da Avaliação Quadrienal e à regularização do número de integrantes do Conselho Técnico-Científico da Educação Superior (CTC-ES), visam garantir a segurança jurídica e transparência aos processos avaliativos. O objetivo é o de que não haja questionamentos futuros quanto aos procedimentos da avaliação da pós-graduação adotados pela Presidência da Capes e os seus órgãos colegiados. A manutenção do sistema de avaliação, seguindo as normas legais, é compromisso da Capes”.

Sobre a portaria 145, a Capes reiterou “que compete às Áreas de Avaliação da CAPES, de forma isolada ou conjunta, sugerir a identificação da área de conhecimento de cada periódico. Em qualquer hipótese, tal juízo de preponderância pode ser revisto, pelo Conselho Técnico Científico da Educação Superior (CTC-ES), por solicitação dos interessados ou de ofício, ouvidos os colégios interessados”.