Há muito mais do que lebres e jabutis na pós-graduação e na universidade

• 0

Rodrigo Xavier Leonardo publicou artigo na Consultor Jurídico discutindo a classificação de livros feita pela Capes. O mote para a sua contribuição foi o fato de que um livro que recentemente recebeu o prêmio Jabuti não obteve igual reconhecimento na classificação de livros feita pela Capes. Faz, ao final do artigo, questionamentos sobre o processo de avaliação, lançando as seguintes indagações:  

 a) pretende-se transformar a “ciência do Direito” em um conhecimento a ser comunicado com menor repercussão social? A quem isto serve? 

b) por qual razão os livros que servem aos editais estatais valem mais do que os livros que são homenageados pelos leitores e pelos agentes de transformação social? 

c) o que explica a desvalorização de obras de livros jurídicos de grande repercussão social? Será que os Programas de Pós-Graduação em que foram gestados não estão defendendo adequadamente sua própria produção ou, alternativamente, os responsáveis pelas regras de classificação de livros não têm atendido à defesa dessa produção sustentada pelos respectivos Programas? 

d) O produto ligeiro, de lebre, deve prevalecer quando comparado ao conhecimento perene, lento e sofisticado do Jabuti? Que país se pretende privilegiar deste modo?

Considero muito importante a publicação dessa crítica porque significa que o debate sobre a avaliação de programas de pós-graduação está saindo do estrito espaço institucional no qual sempre residiu. Quero aqui tecer algumas considerações sobre a classificação de livros feita pela Área de Direito, discutir alguns argumentos utilizados pelo autor do artigo e ensaiar algumas respostas para suas indagações.  

Acredito que há, na crítica, um superdimensionamento do papel da avaliação feita pela Capes. Quero ressaltar que não se trata de uma avaliação das instituições. Nem é, também, a avaliação individualizada de docentes. É, apenas, a avaliação de programas de pós-graduação stricto sensu como espaços de formação de recursos humanos. Por isso, apesar de serem avaliados cinco quesitos — “proposta do programa”, “corpo docente”, “corpo discente”, “produção intelectual” e “inserção social” — são considerados quesitos centrais, funcionando como limites para as notas atribuídas aos programas, os quesitos “corpo discente” e “produção intelectual”, essa última entendida como resultado da atividade no programa. 

Ainda tentando reposicionar o debate sobre a avaliação feita pela Capes, ressalto que a universidade é muito mais do que pós-graduação stricto sensu. Lembremo-nos que apenas cerca de cem instituições mantêm mestrado ou doutorado em Direito, dentre mais de mil que mantêm cursos de graduação. Apesar de serem importantes espaços de produção do conhecimento, os programas de pós-graduação stricto sensu estão longe de terem monopólio dessa atividade. O conhecimento é produzido e divulgado em diferentes espaços e de diferentes formas em uma universidade. Há diversos papeis nas instituições, havendo espaço para diferentes perfis de docentes e para uma grande diversidade de formas de publicação. A extensão é uma dimensão importante da relação da universidade com a sociedade, mas é, ainda, muito negligenciada na maioria das instituições e, infelizmente, vista com maus olhos por muitos docentes inseridos na pós-graduação. 

A avaliação dos programas de pós-graduação nunca terá capacidade de abranger toda essa complexidade. Nem deve ser o seu objetivo. Seria, caso tentasse dar conta de tudo, uma empresa impossível. 

Esse superdimensionamento talvez esteja na origem da visão que considero distorcida que o artigo adota sobre a classificação de livros. A Capes não faz um Qualis de livros. A lógica da classificação de livros é diferente daquela aplicada à classificação de periódicos. O Qualis periódicos é um instrumento de classificação de periódicos científicos que auxilia a avaliação dos programas de pós-graduação. Já é utilizado há algumas avaliações. A classificação de livros é bem mais recente: conheceu, agora, sua terceira avaliação. 

O Qualis periódicos consiste na atribuição de um conceito ao periódico, sendo, na avaliação dos programas, atribuída uma pontuação por cada artigo publicado em periódico classificado. São avaliadas, apenas, revistas que receberam, no período avaliado, artigos de docentes da pós-graduação stricto sensu. Toma os periódicos como fóruns adequados para diálogo entre pesquisadores. 

Livros sempre foram veículos importantes para as áreas das humanidades. Até a avaliação de 2007, era levado em consideração, apenas, o número de livros ou de capítulos publicados por docentes de cada programa. Durante a preparação para a avaliação 2010, foi criada a classificação de livros. Constatou-se que, sem ela, ficava difícil comparar a produção intelectual de áreas que apenas consideram publicações em periódicos com as áreas com forte publicação em livros. Muitas Áreas de avaliação não a fazem. 

Diferentemente de artigos enviados a revistas científicas, livros não são, via de regra, submetidos à avaliação por pares antes de sua publicação. Hoje, no Brasil, a maior parte da publicação de livros monográficos é feita mediante pagamento pelos autores. Uma parte considerável das publicações em livros visa o importante mercado dos profissionais do Direito, sem qualquer preocupação metodológica. 

Buscamos, na classificação feita recentemente, valorizar os livros que resultaram da atividade no programa de pós-graduação avaliado. Assim, foram destacados os livros que veicularam resultados de pesquisas. Quanto mais vinculados aos projetos de pesquisa ali desenvolvidos, maior a probabilidade de um livro ter uma classificação mais alta. No caso das coletâneas, foram, ainda, valorizadas a participação de docentes de diferentes programas, a participação também de docentes estrangeiros e a vinculação do livro a atividades de redes de pesquisa. 

Muitas lendas urbanas surgiram no meio dos docentes. Uma delas é a de que foram reconhecidos apenas livros que resultaram de pesquisas financiadas. Realmente, esse aspecto foi valorizado, já que, quando se trata de pesquisa que foi submetida a Edital, houve avaliação por pares. Trata-se de um indicador importante. Mas livros que resultaram de pesquisas não financiadas por agências de fomento tiveram, também, a possibilidade de alcançar os estratos mais altos da classificação. E muitos alcançaram. 

Houve algum erro no processo de classificação? É evidente que sim. Não poderia ser diferente em um trabalho de dez docentes classificando mais de nove mil livros em duas semanas. O próprio coordenador da Comissão viu um livro seu que resultou de pesquisa financiada ser avaliado nos estratos mais baixos. Mas não há indício de que qualquer erro tenha sido determinante para o resultado da avaliação dos programas. 

Precisamos evitar que seja criada uma expectativa de que a classificação de livros vire o selo de aprovação ou não do conteúdo do texto. Essa preocupação já existe em relação aos periódicos. Como não há outra avaliação abrangente de revistas científicas no Brasil, o Qualis da Capes passou a ser utilizado para outras finalidades que não a avaliação de programas de pós-graduação. São registrados usos, por exemplo, em concursos públicos, em seleção de projetos em programas de iniciação científica ou em processos de progressão na carreira docente. É um uso distorcido de algo que foi concebido para fins bem mais modestos. Muitas boas publicações de docentes que não estão em programas de pós-graduação, em bons periódicos que ainda não foram classificados, acabam sendo descartadas nesses processos, com prejuízos aos docentes, às instituições e à sociedade. 

Outro ponto do artigo parece trabalhar com uma distorção, é quando dá foco na questão do impacto do livro. Confunde a amplitude de sua divulgação, com impacto científico. Cita matéria publicada na mídia sobre a qualidade da publicação científica brasileira, que cresceu quantitativamente nos últimos anos, mas que ainda não tem impacto correspondente. Os instrumentos de medição do impacto que são considerados para essa constatação da matéria midiática citada nada têm a ver com número de leitores. Medem o número de citações que os artigos publicados em periódicos científicos de alto padrão, inseridos em bases de dados como Web of Science ou Scopus. Aliás, nossos periódicos nacionais estão ainda longe de atenderem às exigências dessas bases e a produção intelectual de nossos programas em revistas estrangeiras inseridas nessas plataformas ainda é pequena. 

Um livro vender muito, ter grande público, pouco tem a ver com o que se quer verificar na avaliação de um programa de pós-graduação. Livros como 1808 e 1822 são, sem sobra de dúvidas, grandes sucessos editoriais, mas seriam indicadores adequados para aquilatar o que se está produzindo de pesquisa histórica em programas de pós-graduação daquela área? O impacto social de best-sellers de Stephen Hawking seria termômetro adequado para, na Área da Física, avaliar a pesquisa produzida em um hipotético programa de pós-graduação no qual ele atuasse? Ao resultar em uma pequena ou em nenhuma pontuação para o programa avaliado, nada está sendo dito sobre a qualidade do livro, nem sobre a sua importância para a sociedade. 

Mas a avaliação atual dos programas não desconsidera a questão da circulação na sociedade da informação produzida pelos docentes da pós-graduação. Ter publicações de livros com grande impacto na sociedade já é considerado no quesito “impacto social” do programa. Está ali com outros indicadores de impacto. Poderia ter um peso mais forte, poderia ter indicadores mais claros de estratificação, mas é ali, nesse quesito, o lugar para que ele seja valorizado. Em uma área na qual o conhecimento gira fortemente em torno de problemas da prática profissional, mas que ainda patina na definição da identidade de programas de pós-graduação profissionais, é preciso discutir o papel, para tais cursos, de publicações que não representam pesquisas específicas, mas que subsidiam o cotidiano de profissionais e de instituições. 

O uso do nome do prêmio para diferenciar conhecimento de lebre, ligeiro, e conhecimento de jabuti, perene, é engraçado, mas veicula outra distorção. Periódicos científicos não são espaços para o conhecimento “ligeiro”, mas, sim, para o conhecimento produzido com bases metodológicas mais firmes. A minha experiência pessoal diz, inclusive, o contrário da associação feita pelo autor. Eu publico muito mais facilmente textos feitos de afogadilho e baseados em opiniões pessoais como capítulos de livros para os quais sou convidado do que em revistas bem avaliadas. Em revistas científicas com boas práticas editoriais, artigos são submetidos a avaliação crítica de consultores, sendo muitos textos rejeitados e outros publicados depois de um longo processo de idas e vindas entre avaliadores e autores. 

Enfim, há muito mais do que lebres e jabutis na pós-graduação e, mais ainda, na universidade. 

*Gustavo Ferreira Santos é coordenador da Área de Direito na Capes e professor de Direito Constitucional da Unicap.

Artigo publicado originalmente no Conjur.