Alunos de famílias pobres que moram em países desenvolvidos costumam ter melhor desempenho educacional do que estudantes de famílias ricas que habitam em países pobres ou em desenvolvimento. A essa conclusão chegaram dois pesquisadores da Universidade de Harvard que elaboraram uma ferramenta estatística inédita. Ela é capaz traduzir para uma única escala resultados educacionais de diferentes avaliações em grande escala feitas no mundo.
Entender as causas e as implicações da diferença de capital humano ao redor do mundo é uma das principais preocupações dos economistas. Além disso, compreender prioridades educacionais e saber onde gestores devem intervir também são aspectos muito estudados pelos especialistas, a exemplo de James Heckmann. Laureado com o Nobel de Economia, ele constatou em seus estudos que investimentos de qualidade na formação de habilidades cognitivas e não cognitivas na pré-escola têm contribuição crucial no combate à desigualdade e pobreza. Cada dólar investido na primeira infância de uma criança, de acordo com o economista, é capaz de quebrar o chamado ciclo da pobreza.
Mas comparar o desempenho de estudantes de diferentes países não é tarefa fácil uma vez que não são todas as nações que realizam testes internacionais padronizados como o Pisa, o Pirls e o Timss. O Brasil anunciou em 2019 que passaria a aderir ao Pirls, voltado à literacia. A adesão ao Timms foi anunciada pelo MEC apenas em outubro.
"Como medir com precisão a distribuição global de habilidades quando as pessoas em países diferentes fazem testes diferentes? Para isso, desenvolvemos uma nova metodologia, com o objetivo de vincular pontuações de populações distintas de forma não paramétrica", dizem os responsáveis pela pesquisa, Dev Patel, do Departamento de Economia da Universidade de Harvard, e Justin Sandefur, do Centro pelo Desenvolvimento Global, que culminou na ferramenta chamada "Pedra de Roseta". Especialistas, embora vejam o método como matematicamente sofisticado, analisam-no com ressalvas.
Há muitos países, em especial aqueles em desenvolvimento, que optam por exames locais, sem que se tenha uma escala comparável com o resto do mundo. Então, assim como a histórica "Pedra da Roseta" foi a base para entender a escrita egípcia, os pesquisadores acreditam ter elaborado um modelo por meio do qual conseguem simular o desempenho de diferentes estudantes espalhados pelo mundo, para a análise em larga escala ser possível.
"Não existem medidas de habilidade globalmente comparáveis. Mesmo os maiores testes padronizados internacionais cobrem menos de um terço das crianças em idade escolar e atualmente excluem todos os alunos em países de baixa renda", lembram.
A Rosetta Stone for Human Capital
"Para garantir a equivalência entre as pontuações individuais em nosso exame híbrido e a escala de referência, exploramos o fato de que todos os principais testes internacionais usam a teoria de resposta ao item (TRI) para avaliar as respostas dos alunos", diz o estudo. A TRI, utilizada em testes como o Exame Nacional do Ensino Médio (Enem), é uma metodologia de correção de testes que pontua de forma diferente questões consideradas fáceis, médias e difíceis.
Os resultados obtidos por meio da pesquisa também chamam a atenção para fatos como: sistemas educacionais bem estruturados em nível nacional promovem melhores resultados (tanto para o aluno como para o país) do que sistemas privados isolados. Por exemplo, países que investem em políticas públicas como currículo e bons materiais didáticos em larga escala geram melhores resultados do que escolas privadas que atuam isoladamente e possuem boa estrutura educacional.
Resultados
Patel e Sandefur compararam o impacto da renda familiar para bancar estudos e o sistema educacional do país no qual se estuda. Resultado: alunos brasileiros de famílias ricas têm desempenho educacional inferior a alunos pobres de países como Coreia do Sul e Rússia, por exemplo. O estudo também indica que estudantes pobres com bom desempenho em países ricos acabam tornando a economia de suas nações ainda mais próspera.
Para que os resultados pudessem ser comparados, a renda das diferentes famílias foi padronizada pelo chamado critério PPC, PIB por Paridade de Compra. No quesito matemática, por exemplo, alunos brasileiros de famílias que ganham até U$ 10 mil ao ano alcançam 500 pontos no Timss (escala simulada), exame internacional que mede proficiência em matemática e ciências de alunos do 5º e do 9º ano do ensino fundamental. Alunos de famílias norte-americanas que ganham a metade do valor ao ano, por sua vez, pontuam acima de 500 pontos. Já estudantes de famílias tailandesas remuneradas em U$ 8 mil ao ano figuram nas mesmas colocações que os brasileiros.
"O resultado obtido pela pesquisa reforça o que já sabíamos. Essa é uma tendência que, inclusive, já encontramos nos resultados do Pisa. No Brasil, o nosso topo, ou seja, estudantes da rede privada e federal, está abaixo da média de vários outros países. Nossa elite acadêmica é pior do que o estudante comum de vários lugares. Isso acontece em diversos países, e é resultado de uma série de fatores", diz o especialista.
Com melhor desempenho, alunos de famílias sul-coreanas que ganham U$ 3 mil ao ano conseguem chegar à maior pontuação possível no exame Timss. Alunos da Rússia cujas famílias obtêm U$ 2 mil ao ano têm melhor desempenho do que alunos do Marrocos, um país mais pobre, cujas famílias ganham U$ 4 mil por ano.
"Há um efeito muito conhecido na sociologia que afirma que, quando um estudante de condições socioeconômicas e culturais mais baixas é colocado em convívio com estudantes de níveis socioeconômico e cultural mais elevado, a tendência é que ele se beneficie muito", explica Marcio da Costa, professor associado da Universidade Federal do Rio de Janeiro (UFRJ), doutor em Sociologia e mestre em Educação. "O que acontece, em geral, em países com uma grande proporção de classe média na população, é que quase toda a classe média vai para a escola pública e isso acaba puxando os mais pobres para cima. Esse efeito de interação social é relevante e pode explicar, em parte, esse diagnóstico".
"Descobrimos, também, que países cujos alunos têm pontuações mais altas exportam mais em setores que exigem muita habilidade. Isso se dá, em especial, com alunos que pontuam alto em matemática", revela a pesquisa. Há, ainda, outro achado: independente do nível de renda familiar, em média, meninas têm pontuação mais alta em leitura do que meninos.
"Um dos fatores [que está por trás de resultados como o do Brasil] ao qual precisamos dar atenção, pois é justamente onde podemos intervir de maneira mais eficaz, é a oferta de qualidade da educação. O currículo, em especial, é um problema claro e importante, porque ele preside os demais. Mas há problemas de outra natureza", diz Costa. "A literatura internacional dos últimos 30 anos, pelo menos, permite que identifiquemos com razoável clareza quais são as estratégias mais eficazes. Mas isso é praticamente ignorado no Brasil. Um exemplo típico disso são os métodos de alfabetização. Isso é algo fora de discussão no mundo, não existe polêmica, embora continue aqui".
A ferramenta Pedra de Roseta
Pedra de Roseta é uma ferramenta que permite conectar itens de diferentes testes. Ela coloca numa mesma escala estudantes que fizeram os exames, e os relaciona no ponto individual.
O modelo foi aplicado em 2016 a 2.300 estudantes do ensino fundamental em Bihar, na Índia. Na prática, eles aplicaram aos alunos um exame combinando itens de conhecimento público de diferentes avaliações, estimando funções de conversão entre quatro dos maiores testes padronizados do mundo, abrangendo 80 países.
Para Marcio da Costa, a iniciativa dos pesquisadores é original e ousada, mas ele chama a atenção para tecnicalidades do exame que não são desprezíveis. "O problema desses itens que normalmente vem a público é que eles não são muito bons, não funcionam muito bem. Por exemplo, é necessário que eles sigam uma série de requisitos, como a chamada curva característica, para que se saiba o quanto determinado comportamento é preciso, acurado na identificação do nível em que o estudante está em determinado conhecimento", diz ele.
"É preciso ter uma escala que chamamos de unidimensional, ou seja, uma pessoa que acerta um item num ponto 200 de uma escala, por exemplo, deve ser capaz de saber todos os itens que estão colocados no ponto abaixo", explica. "Se o aluno sabe regra de três, ele necessariamente precisa saber as três operações. Quem acerta esse item, probabilisticamente, deve ter acertado todos os outros itens de grau de dificuldade inferior. E a prova deve, necessariamente, ser capaz de medir isso. Por isso é necessário que a pesquisa passe por escrutínio denso da área acadêmica, e avaliação de estatísticos".
"Com a Pedra de Roseta, convertemos as notas dos testes de 628.601 alunos de 80 países em escalas comuns de matemática e leitura. Isso expande o conjunto de medidas de competências comparáveis entre países de duas maneiras. Em primeiro lugar, mede a aprendizagem entre alunos do ensino primário, uma população-chave de interesse para os gestores políticos que não é representada, por exemplo, pelo exame PISA, aplicado a jovens de 15 anos", explicam os pesquisadores.