“House effects”: entenda como vício estatístico afeta resultado de pesquisas eleitorais

Com o aumento no número de institutos de pesquisas no Brasil, os levantamentos sobre os cenários eleitorais se tornaram cada vez mais frequentes. Chama a atenção, porém, a diferença entre os resultados e índices apresentados pelos institutos, que, muitas vezes, fazem levantamentos no mesmo período de tempo.

Isso acontece por causa dos chamados house effects, ou viés da casa (não confundir com ação tendenciosa), termo técnico usado por pesquisadores de opinião pública para se referir a vieses sistemáticos (ou vícios estatísticos) que podem estar associados a diferentes institutos de pesquisa.

De acordo com Daniel Marcelino, analista de dados e especialista em métodos quantitativos, modelos de previsão e pesquisas de opinião, os house effects não se tratam de viés político ou partidário, mas de escolhas feitas pelo instituto responsável pelo levantamento que podem involuntariamente superestimar ou subestimar um candidato.

"Cada instituto de pesquisa desenvolve alguns mecanismos para obter a melhor eficiência. Essas combinações geram metodologias diferentes e têm a ver com a técnica de pesquisa de cada instituto. Por exemplo, o que serve para o Datafolha às vezes não serve para o Paraná Pesquisas", explica Marcelino.

Para estimar a amostragem de seus levantamentos, por exemplo, o Paraná Pesquisas tem como base os dados do Censo Demográfico do Instituto Brasileiro de Geografia e Estatística (IBGE) de 2010, segundo registros no Tribunal Superior Eleitoral (TSE). Por outro lado, o levantamento mais recente do Datafolha tem como base os dados da Pesquisa Nacional por Amostra de Domicílios Contínua (PNAD) de 2021.

"Tem um debate dentro da associação de empresas de pesquisa com uma lista de melhores práticas. Esse debate, pode ser, por exemplo, usar dados mais recentes possíveis. Como tudo é muito ambíguo, você não sabe exatamente o que é dado mais recente. O dado do Censo mais recente, infelizmente, é o de 2010. Então se um instituto parte do pressuposto que uma PNAD pode substituir o Censo, ela pode usar esses dados que são, em tese, mais recentes", completa o analista de dados.

As diferenças metodológicas usadas quase sempre provocam discrepâncias quando se compara uma pesquisa com outra. Vejam os casos da Paraná Pesquisa e do Datafolha, exemplos citados anteriormente.

O último levantamento da Paraná Pesquisas, divulgado na quarta-feira (1º), mostrou Luiz Inácio Lula da Silva (PT) e Jair Bolsonaro (PL) tecnicamente empatados na corrida presidencial, com 41,4% e 35,3% das intenções de voto, respectivamente.

Já o levantamento do Datafolha divulgado na última quinta-feira (26) trouxe Lula com 48% das intenções de voto contra 27% de Bolsonaro, diferença que indica a possibilidade de vitória já no primeiro turno.

TSE dá transparência a "house effects" de institutos que fazem pesquisas eleitorais 

De acordo com Daniel Marcelino, os levantamentos divulgados pelos institutos são retratos de momento e servem para tomadas de decisões de partidos ou de empresas contratantes. Em ano eleitoral, por exemplo, muitas das escolhas metodológicas tomadas pelos institutos são publicadas de forma transparente no sistema de registro de pesquisas eleitorais do Tribunal Superior Eleitoral (TSE).

Alguns institutos com metodologia presencial escutam mensalmente cerca de 3 mil pessoas e têm margem de erro de mais ou menos 2 pontos percentuais. Outros, que também fazem levantamentos presenciais e que escutam apenas 1 mil pessoas quinzenalmente, possuem uma margem de erro de 3,2 pontos percentuais.

"Uma pesquisa de opinião ou pesquisa eleitoral não tem uma precisão que muitas vezes as empresas vendem ou que as pessoas querem acreditar, ela não é tão precisa", defende Marcelino.

Na avaliação do analista de dados, essas escolhas metodológicas são responsáveis pela variação de resultados entre um instituto e outro durante uma campanha eleitoral. Além da metodologia, a ordem das perguntas ou até mesmo o uso de sorteio em uma ou mais etapa podem interferir no resultado do levantamento.

Por exemplo, se a pesquisa perguntar a intenção de voto apresentando uma lista em ordem alfabética e sem rodízio dos nomes, pode influenciar os resultados para os primeiros candidatos da lista. Com isso, cada instituto pode superestimar ou subestimar um candidato, por conta de sua metodologia.

"Tem empresa que divide eleitor jovem entre 16 e 17 anos, outras já colocam entre 16 e 24 anos. Ou seja, uma cota muito mais larga. Não necessariamente você tem que encontrar uma pessoa de 16 anos pra responder. Quando você coloca de 16 a 24 anos, pode ser todo mundo de 24 anos, pode ser todo mundo de 22. Todas essas escolham metodológicas influenciam no resultado", defende o analista.

Institutos usam a mesma estrutura para coleta da dados

De acordo com Marcelino, essas escolhas de vieses refletem nos custos de cada levantamento e nas informações que o contratante deseja obter daquele levantamento.

"Você querer ouvir um morador de São Gabriel da Cachoeira (AM) implica em você ter que deslocar um pesquisador num dia da semana, na segunda, e ele só voltar na sexta-feira para ouvir, sei lá, duas pessoas. Tudo isso tem um custo envolvido. Poucas empresas fazem isso. Por exemplo, uma pesquisa Datafolha para presidente custa R$ 430 mil e uma pesquisa da Quaest custa cerca de R$ 200 mil", explica.

Para o analista, a diferença de valores ou de pontos metodológicos não garante que uma pesquisa seja melhor que a outra. "Isso que é o pior de tudo, isso não garante que a pesquisa mais cara é melhor. Quando falo melhor, digo no sentido de chegar mais perto do cenário real", completa Marcelino.

Durante a elaboração dos números e coleta dos dados, diversos institutos costumam usar a mesma equipe em diferentes regiões do país, segundo Marcelino.

"Toda empresa tem os seus métodos de questionários ou de sorteios. Mas tanto uma empresa quanto outra, quando vai fazer uma pesquisa nacional, seja telefônica ou presencial, a equipe de coleta é terceirizada. Por exemplo, o Paraná Pesquisas possivelmente está usando a mesma estrutura que o IPEC, mas com metodologias diferentes", explica.

Na avaliação do analista, o eleitor comum precisa entender os vieses dos institutos e que, na maioria das vezes, as empresas apresentam resultados parecidos. "Claro que tem alguns erros, tem algumas pesquisas que sai muito fora do intervalo aceitável. Mas a grosso modo, mesmo com essas diferenças metodológicas, elas estão ali falando a mesma coisa", afirma.

Ainda de acordo com Marcelino, uma pesquisa não deve ser analisada apenas pelos números de quem está à frente ou atrás numa corrida eleitoral. Para ele, é preciso entender que todos os institutos têm os seus vieses para que a análise dos números seja mais completa.

"As pesquisas eleitorais são de grande interesse dos partidos, empresas e mídia. Mas os relatórios precisam ser analisados com mais profundidade. A empresa que contratou a pesquisa, o partido ou candidato não usa apenas para ver quem está na frente ou atrás. O que mais interessa para um partido é saber onde o seu candidato vai bem, onde ele vai mal ou em qual espaço que uma empresa tem pra melhorar seu empreendimento. O cruzamento e a frequência são muito mais importantes", completa o analista de dados.

Os "house effects" nos resultados das pesquisas para Lula e Bolsonaro

Através de agregadores de pesquisas é possível ver os house effects estimados de cada instituto de pesquisa para cada candidato. Os números representam quanto cada candidato pode ser subestimado ou superestimado em pontos percentuais por conta dos vieses dos institutos.

De acordo com o agregador de pesquisas do JOTA, no primeiro trimestre deste ano, os vieses calculados são representados assim:

Percentual de viés relativo para Lula

• Sensus: -2 pontos até +4 pontos percentuais 
• Ranking Brasil: -6 pontos até 0 ponto percentual 
• Quaest: +2 pontos até +4 pontos percentuais 
• PoderData: -2 pontos até 0 ponto percentual 
• Paraná Pesquisas: -2 pontos até 0 ponto percentual 
• MDA: -2 pontos até +4 pontos percentuais 
• Ipespe: +2 pontos até +4 pontos percentuais 
• IDEIA: -2 pontos a +2 pontos percentuais 
• Futura: -4 pontos até 0 ponto percentual 
• FSB: -2 pontos até +2 pontos percentuais 
• Datafolha: -2 pontos até +4 pontos percentuais 

Percentual de viés relativo para Bolsonaro

• Sensus: -6 pontos até 0 ponto percentual 
• Ranking Brasil: 0 ponto até +6 pontos percentuais 
• Quaest: -4 pontos até 0 ponto percentual 
• PoderData: 0 até +4 pontos percentuais 
• Paraná Pesquisas: 0 até +4 pontos percentuais 
• MDA: -2 pontos até +2 pontos percentuais 
• Ipespe: -2 pontos até 0 ponto percentual 
• IDEIA: -2 pontos até 0 ponto percentual 
• Futura: +4 pontos até +6 pontos percentuais 
• FSB: -2 pontos até +2 pontos percentuais 
• Datafolha: -6 pontos até -2 pontos percentuais 

Metodologia das pesquisas citadas

O Paraná Pesquisas entrevistou pessoalmente 2.020 eleitores entre os dias 26 e 30 de maio de 2022 em 164 municípios brasileiros. A margem de erro é de 2,2 pontos percentuais e o nível de confiança atinge 95%. O levantamento foi contratado pela corretora BGC Liquidez e está registrado no Tribunal Superior Eleitoral (TSE) sob o protocolo BR-04618/2022.

O Datafolha entrevistou 2.556 eleitores entre os dias 25 e 26 de maio em 181 cidades. O levantamento foi contratado pelo jornal Folha de S. Paulo e está registrado no TSE com o protocolo BR-05166/2022. A margem de erro é de dois pontos percentuais para mais ou para menos, e o nível de confiança é de 95%.