Margens de erro de pesquisas eleitorais são maiores que o informado
Foto: Reprodução
A margem de erro de uma pesquisa eleitoral é uma de suas informações mais importantes. Sua interpretação, no geral, é bastante simples. Se uma pesquisa diz que 30% do eleitorado pretende votar em Jair Bolsonaro e sua margem é de 3 pontos, na realidade o apoio ao presidente talvez seja de 33%, talvez de 27%. Entrevistando toda a população e não apenas uma amostra, em outras palavras, esperaríamos encontrar um percentual de eleitores(as) do presidente nesse intervalo na maioria das vezes.
A simplicidade das margens de erro na hora de quantificar a incerteza das pesquisas, no entanto, é um pouco ilusória. Especificamente, alguns estudos recentes têm mostrado que as margens de erro reais das pesquisas costumam ser bem maiores do que convencionalmente reportado pelos institutos de pesquisa. Comparando dados de mais de 4 mil pesquisas eleitorais nos Estados Unidos com os resultados oficiais das eleições, por exemplo, Houshmand Shirani-Mehr e colaboradores descobriram que margens de erro reais normalmente são o dobro das divulgadas, isto é, chega a 7 em vez de 3 pontos percentuais. Outro estudo publicado na “Nature” pelos cientistas políticos Will Jennings e Christopher Wlezien sugere que o erro médio das estimativas de intenção de voto em diversos países presidencialistas chega a 2,7, com muitos casos extrapolando bastante essa marca.
Temos poucos estudos sobre o tema no Brasil, mas é possível fazer algumas estimativas. Usando a mesma metodologia de Shirani-Mehr e colaboradores e dados de pesquisas divulgadas no Brasil desde 2014 para governos estaduais e para a Presidência, cedidos pela agência de notícias “Pindograma”, o que se acha é uma margem de erro efetiva de 7,2 pontos percentuais. A margem de erro das pesquisas de intenção de voto brasileiras também diminui conforme o tempo passa: faltando 15 dias para o pleito, é de quase 10; na véspera, de cerca de 6 pontos; quando trata-se de pesquisa de segundo turno presidencial, a margem média real é menor, de pouco menos que 4 pontos percentuais. Em resumo, a evidência mostra que as pesquisas eleitorais no Brasil têm uma margem de erro média maior do que geralmente se reporta.
Há vários fatores que ajudam a explicar a discrepância entre o erro divulgado e o erro real. De saída, toda pesquisa eleitoral é influenciada pela sua cobertura, isto é, a parcela da população que consegue representar. Em pesquisas presenciais, por exemplo, é mais difícil abordar pessoas em áreas de milícia e tráfico ou em zonas rurais remotas. Em pesquisas telefônicas, pessoas sem telefone ficam de fora, enquanto que pessoas com duas ou mais linhas têm maiores chances de serem ouvidas. Nos dois casos, determinados segmentos também podem ser mais difíceis de entrevistar – caso de jovens menos propensos a atender telefone ou adultos que estão ocupados em horário comercial, o que tende a resultar em um viés conhecido como taxa de não resposta.
Quando amostras saem desbalanceadas do campo é comum que institutos as ajustem com procedimentos estatísticos que inflam margens de erro, embora essa informação seja raramente incorporada nos cálculos. Adicionalmente, pesquisas lidam com pessoas indecisas; com parte do eleitorado que não comparece para votar, o que cria uma distorção entre população-alvo e população votante; com intenções de voto que mudam ao longo do tempo; entre outros. A lista de fatores que influenciam a precisão das pesquisas continua, mas há outro ponto mais importante a notar: o cálculo da margem de erro de uma pesquisa depende do tipo de amostra utilizada.
No Brasil, por uma série de razões, os institutos usam cotas para selecionar pessoas a serem entrevistadas. Nesse tipo de amostragem, são estipulados um número de entrevistas a serem realizadas com pessoas de cada segmento da população de forma a se refletir a proporção destes segmentos na amostra. O cálculo das margens de erro das pesquisas eleitorais no Brasil, entretanto, pressupõe outro tipo de amostra: a aleatória simples, na qual todas as pessoas são sorteadas, a partir de uma lista ou similar, para participar da pesquisa. Ênfase aqui: embora use amostragem com cotas, não probabilística, a maioria dos institutos brasileiros divulga margens de erro calculadas para amostras aleatórias simples (no jargão, AAS), sem cotas.
Por que, então, institutos divulgam margens de erro que não se aplicam às pesquisas que realizam? Parte da resposta tem a ver com a legislação eleitoral, que determina que institutos calculem e reportem as margens de erro antes de irem a campo. Como consequência, detalhes que poderiam ser incorporados posteriormente no cálculo das margens de erro registradas para melhor ajustá-las, como o percentual de votos de cada candidatura sondada e o efeito de eventuais ajustes na amostra, não são considerados. Mais ainda, outras formas de se calcular margens de erro, como alguns dos sugeridos pela Associação Americana de Pesquisas de Opinião Pública (AAPOR) no seu relatório final sobre levantamentos não probabilísticos, dependem das pesquisas já terem sido concluídas. Pressionados pelas resoluções do TSE, enfim, institutos registram antecipadamente margens de erro que subestimam a incerteza dos seus resultados.
A solução? No curto prazo, acostume-se a pensar que as margens de erro das nossas pesquisas eleitorais não são 2 ou 3 pontos, como normalmente divulgado, mas de 5 ou 7 pontos percentuais, a depender do pleito e da proximidade das eleições. Levar em conta adequadamente a incerteza dos levantamentos de intenção de voto provavelmente resultará em expectativas mais realistas – e em menores frustrações com o desempenho dos nossos institutos.