Algumas revistas acadêmicas bem-conceituadas no Brasil não alcançariam o mesmo prestígio caso fossem submetidas a critérios internacionais. O alerta é de uma pesquisa que aponta divergências entre os parâmetros de avaliação brasileiros e os principais indicadores internacionais de produção científica.
Veja também:
Em entrevista à Gazeta do Povo, uma das pesquisadoras responsáveis pelo estudo – que foi publicado na revista Brazilian Political Science Review –, a professora Lorena Barberia, do Departamento de Ciência Política da USP, explica quais são os pontos de atenção levantados em relação ao sistema Qualis, metodologia adotada pela Capes, entidade do Ministério da Educação (MEC), para avaliar a produção intelectual dos cursos de pós-graduação no Brasil.
Em sua opinião, o sistema Qualis é eficiente?
A palavra “eficiente” é muito vaga. A questão é: tem um investimento muito grande [no sistema Qualis] do governo federal, dos governos estaduais, nas instituições públicas, no oferecimento de bolsas... Então é preciso avaliar: qual é o impacto desse investimento?
O desafio do Qualis como está hoje, a meu ver, é que é utilizado como um instrumento muito importante para avaliar os programas de pós-graduação só que ele está utilizando uma medida indireta para isso. Ele avalia a revista e não o artigo científico. E não avalia a qualidade do ensino desses cursos.
Se o professor publica em uma determinada revista, o sistema avalia a qualidade dessa publicação para inferir a qualidade da minha pesquisa e do curso de pós-graduação.
A questão é que alguns artigos que são publicados em revistas importantes e, portanto, conseguem notas altas para os cursos de mestrado e doutorado, não têm impacto, nunca são citados. E artigos bons, citados internacionalmente, com um impacto maior, mas publicados em revistas mal avaliadas pela Capes, não conseguem aumentar as notas de cursos de mestrado e doutorado.
Com isso, não estou dizendo que não exista uma correlação muito alta entre o artigo ser de qualidade e ser publicado em uma revista considerada de qualidade. Sim, tem, mas sempre há exceções. O problema, a meu ver, é que o sistema não está avaliando o que fez esse professor, está dizendo que a revista onde ele publicou é boa e, só por isso, que seu programa de pós-graduação é bom.
Na sua pesquisa, identificou-se divergência entre os parâmetros adotados para avaliar revistas fora e dentro do Brasil. Quais seriam elas?
O que nós identificamos, no caso das revistas de Ciência Política e Relações Internacionais, é que, mesmo com características objetivas, os critérios de avaliação sempre têm um aspecto subjetivo grande do comitê da área na Capes.
É muito complicado quando os pesquisadores avaliam a si mesmos, o grau de subjetividade é muito grande.
Quais seriam os critérios objetivos?
Uma revista é boa quando a comunidade científica em geral a avalia como tal, de forma mensurável. Critérios subjetivos são baseados em opiniões que não se podem medir.
Por exemplos, algumas revistas consideradas “A1” [nível mais alto de qualidade de um periódico no Brasil] não atingem indicadores de qualidade reconhecidos pela comunidade internacional, como número de citações.
Muitas pessoas criticam propostas de colocar no peso da nota de uma revista critérios como a exigência de citações por outros pesquisadores para que um artigo seja considerado bom.
Concordo que não deve ser o único critério. Mas, ao mesmo tempo, eu defendo que ciência é um empreendimento coletivo. Uma pessoa que abraça a causa de ser cientista entende que uma das formas que temos de convencer, de arguir, de avançar no nosso trabalho é compartilhar nossos achados com a comunidade científica, sermos relevantes, dialogarmos com essa sociedade científica.
As citações estão mensurando se o pesquisador está em diálogo com outros cientistas. É uma evidência importante para um cientista. Não é a única forma de inferir qualidade, mas com certeza é uma delas. Se um artigo é bem citado isso quer dizer que outras pesquisas, outros trabalhos, têm conhecimento disso, isso é relevante para um trabalho mais abrangente.
Em um departamento, é claro que as pessoas se leem, se citam. É importante estar em diálogo com cientistas do nosso universo. Mas um cientista também quer saber se o seu trabalho consegue cruzar fronteiras.
E se queremos ter esse diálogo internacional, não pode acontecer em português.
Avaliar e dizer aqui no Brasil que algumas revistas nacionais são tão importantes como revistas que estão entre as melhores do mundo não nos ajuda a melhorar.
Se os pesquisadores acreditam que já estão em um patamar de excelência, não são incentivados a melhorar...
Sim. Um artigo publicado em uma revista internacional leva cinco ou seis anos para ser realizado. Um professor que está publicando em uma revista “A1” local nem sempre necessita do mesmo investimento de tempo e o rigor exigido nessas revistas com altas taxas de rejeição de artigos, que têm parâmetros de qualidade em outro patamar.
Muitas das revistas internacionais que têm um alto fator de impacto internacional também divulgam as taxas de rejeição dos artigos. Já, no Brasil, quando queremos saber quais são os critérios adotados pelas revistas nacionais altamente avaliadas para rejeitar artigos, em geral, elas não têm dados para isso, para explicar como acolhem e rejeitam artigos.
Então, como vamos verificar que essas revistas realmente são melhores?
As notas recebidas pelas revistas acadêmicas refletem na avaliação dos cursos de mestrado e doutorado. Como essa avaliação poderia ser feita de forma mais objetiva?
Bom, primeiro, como já disse, olhando mais especificamente a produção específica dos pesquisadores, o que levaria a um trabalho maior, ler os artigos, e não apenas adotar parâmetros indiretos.
Depois, pode-se dizer que hoje as notas das revistas pelo Qualis dominam muito a forma como é avaliada a pós-graduação no Brasil. A meu ver, essa avaliação teria de ser mais abrangente.
Além da produção intelectual, é preciso pensar na qualidade do ensino nos cursos. O Qualis é um olhar sobre o impacto em pesquisa dos cursos, mas não diz respeito ao ensino, à inserção dos alunos no mercado.
A comunidade acadêmica tem de ser uma comunidade mais aberta à autocrítica, para onde estamos indo? Como estamos ensinando?
Tudo o que fazemos é ótimo e excelente? Isso é algo crível? Para os alunos muitas vezes não. Eles se perguntam: “Esse artigo que o professor está me mandando ler, ninguém lá fora lê, ou conhece. Por que eu tenho de ler esse artigo quando tenho artigos melhores?”
Se, por outro lado, nos preocuparmos com critérios mais objetivos, com qualidade no ensino, isso levará a avaliar melhor os cursos e as pesquisas terão mais credibilidade, serão de qualidade comprovada aqui e fora do país, e todos terão incentivos para chegar mais longe.
