Suposta melhora na alfabetização comemorada por Lula se apoia em dados obscuros

Há algumas semanas, o governo Lula comemorou dados da pesquisa Alfabetiza Brasil, segundo a qual o Brasil teria retomado, em 2023, o nível pré-pandemia na alfabetização de crianças até o segundo ano do ensino fundamental. As informações fornecidas pelo governo até o momento, contudo, são baseadas em uma metodologia pouco transparente, que sugere a utilização de métricas incompatíveis para comparação com anos anteriores.

No dia 31 de maio, o Ministério da Educação (MEC) e o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) convocaram uma coletiva de imprensa para anunciar que 56% das crianças haviam atingido, em 2023, o nível adequado de alfabetização. Em 2019, o número era de 55%, de acordo com o Sistema Nacional de Avaliação da Educação Básica (Saeb); em 2021, em meio à pandemia, esse número havia caído para 36%.

O aumento de 20 pontos percentuais registrado em 2023 é, no entanto, baseado em uma metodologia nova, instituída pelo governo em 2023, que tem suscitado dúvidas em especialistas da área de educação. A falta de transparência do MEC e do Inep na explicação de como os resultados da nova metodologia empregada foram compatibilizados com os da antiga é a maior preocupação.

Guilherme Lichand, professor de Educação da Universidade Stanford, na Califórnia, vê com perplexidade a forma como os resultados foram divulgados. Segundo ele, as informações fornecidas pelo governo estão longe de ser suficientes para dar credibilidade aos resultados, porque não dão detalhes sobre a agregação de itens comuns nas provas, as diferenças entre as questões aplicadas e os níveis de dificuldade considerados.

Até 2021, o governo usava para a pesquisa de alfabetização os dados do Saeb, que trazia questões padronizadas para todo o país. Em 2023, o governo decidiu usar resultados de provas estaduais, que diferem entre si.

Não seria impossível, de acordo com Lichand, compatibilizar as avaliações feitas até 2021 com um modelo que usasse as provas estaduais. O principal problema, para ele, é não explicar como os dados foram agregados para tornar isso possível.

"É possível compatibilizar, em princípio, quando se tem uma avaliação amostral num certo padrão e uma outra avaliação censitária com outros vários padrões. Há técnicas estatísticas informadas por psicometria que permitiriam tentar compatibilizar a dificuldade de itens entre as provas e outros elementos. Mas isso não é trivial. E certamente eles não explicaram como foi feito", critica.

Por enquanto, há ao menos uma "total falta de transparência", diz Lichand. "Imagine se, com o IPCA [Índice de preços ao consumidor], que sai todo mês segundo o cálculo conhecido, o governo chegasse no meio de um mês e dissesse: 'medimos o IPCA com uma nova metodologia, e ela mostra que a inflação está caindo', e todos questionassem como foi calculado, e o Banco Central e o Ministério da Fazenda dissessem: 'não podemos falar'. Isso geraria protesto na Faria Lima, pressão pela queda do ministro, do presidente do Banco Central, até que o governo explicasse o que fez. Na educação, nada acontece. Eles não explicam como foi feita a suposta compatibilização", complementa.

A Gazeta do Povo levou ao MEC e ao Inep questionamentos sobre a nova metodologia usada. A resposta enviada pelo Inep foi genérica: "O Inep disponibilizou um conjunto de itens comuns calibrados para integrar os testes dos sistemas estaduais de avaliação, como parte do trabalho para a adoção do padrão nacional de alfabetização por todos os estados brasileiros, fortalecendo a cooperação interfederativa e o alinhamento entre os distintos sistemas de incentivo à alfabetização".

Resultados do Saeb, que eram usados para medir alfabetização, foram adiados

Outro aspecto pouco claro é por que o governo decidiu deixar de usar os resultados do Saeb na pesquisa Alfabetiza Brasil. A reportagem também levou essa questão ao governo, que não deu explicações.

Havia a previsão de que o Saeb fosse divulgado, neste ano, até 28 de junho, mas o governo adiou a publicação dos resultados. Para Lichand, esse é mais um elemento de opacidade no anúncio sobre a suposta melhora nos índices de alfabetização das crianças.

"Poderiam perfeitamente ter esperado os resultados [sobre alfabetização] do Saeb e divulgado só o Saeb, que viria três semanas depois [de quando a pesquisa Alfabetiza Brasil foi divulgada]. Aí adiam um anúncio do Saeb sem explicação. Para mim, a história – até agora, pelo menos – é de total opacidade, falta de transparência", comenta.

Após o anúncio feito em maio, o governo disponibilizou uma planilha com as notas obtidas em cada município na Alfabetiza Brasil. Esse é outro ponto de controvérsia, já que alguns resultados causaram estranheza em secretarias municipais de educação quando foram normalizados de acordo com a nova metodologia.

O município de São Paulo, por exemplo, teve um resultado desastroso segundo os novos parâmetros do MEC e do Inep: somente 38% dos alunos estariam alfabetizados na capital paulista, caso o número do governo federal possa ser levado em conta. Isso faria de São Paulo a quarta pior capital brasileira em nível de alfabetização – dado bastante improvável, tendo em conta que os índices paulistanos em educação tendem a ser melhores do que a média nacional.

Em nota enviada à Gazeta do Povo, a Secretaria Municipal de Educação (SME) da Prefeitura de São Paulo contestou os números do MEC. "Dados da Provinha São Paulo, aplicada aos estudantes do 2° ano do Ensino Fundamental, mostram que, desde 2018, entre 80% e 90% dos estudantes estão alfabetizados. No último dado, de 2023, o registro foi de 89%. Já o Saresp [Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo], que é uma avaliação estadual, trouxe o dado de 72% dos estudantes alfabetizados", disse o órgão.

Além de São Paulo, outras secretarias têm apontado inconsistências nos resultados divulgados. Para Lichand, a enorme diferença registrada na capital paulista pode ser um sinal da falta de consistência da metodologia usada pelo MEC.

"Era preciso definir um conjunto de itens que deveria constar em todas as avaliações. Isso aconteceu? Não sei. Se aconteceu, que itens são esses? Também não sabemos. Qual era a ordem desses itens em cada prova? Tudo isso importa para que a gente possa saber se a compatibilização foi feita da melhor maneira. Será que São Paulo é mesmo pior que a média nacional? Ou será que o Saresp é mais difícil do que as outras provas? Será que alguns estados estão mesmo tão melhores do que a média nacional? Ou será que a prova aplicada lá foi muito mais fácil do que as outras? Não podemos responder, porque não há essas informações em nenhum lugar", critica ele.

Mesmo com os diversos questionamentos sobre a nova metodologia, e mesmo sem ainda ter o resultado do Saeb, o governo decidiu usar a pesquisa Alfabetiza Brasil como base para estabelecer metas para a alfabetização de crianças do 2º ano até 2030. Para 2024, o objetivo é saltar dos supostos 56% para 60%. Até 2030, espera-se chegar a 80% de crianças alfabetizadas.