É preciso separar o sinal do ruído
Existe uma coisa que você verá nestas eleições mais do que candidatos segurando bebês: muitas pesquisas eleitorais.
O número de pesquisas eleitorais cresce ano após ano. E o interesse por elas também. O problema é que nem todas as pesquisas são iguais. Muitas vezes os números mudam de semana para semana apenas em pequenas quantidades, dentro da margem de erro. Mas outras vezes os resultados são muito diferentes, além da margem de erro calculada pelas empresas, geralmente um valor entre 2 e 3 pontos percentuais para mais ou para menos. Por que isso acontece? Essas diferenças são significativas? Como saber se as diferenças observadas são indicativos de uma mudança de trajetória ou apenas ruído?
No JOTA, nós adoramos pesquisas. Todos os tipos de pesquisas, mas especialmente as eleitorais, porque elas nos permitem saber o que está dentro da cabeça das pessoas em relação ao acontecimento político mais importante do país.
Mas se você quiser saber o que as pesquisas estão dizendo sobre os principais candidatos, a melhor coisa a fazer é olhar para uma linha de tendência, em vez de qualquer resultado individual de uma ou outra empresa.
Nós tornamos isso bastante simples. Basta você acessar a área dos agregadores de pesquisas nacionais destas eleições para ver as tendências e projeções para os próximos dias. Os modelos usam o que sabemos sobre o tamanho das amostras de cada levantamento, a recência e a qualidade das medições geradas por cada empresa. E o mais importante: nós calculamos um intervalo de credibilidade para a linha de tendência, refletindo a nossa incerteza sobre a verdadeira posição do candidato naquele momento.
Por que os resultados divergem?
Não existe uma única causa que possa explicar a enorme variação observada nos levantamentos de intenção de voto de diferentes empresas. Entretanto, estudos realizados desde os anos 1970 apontam para alguns suspeitos mais prováveis.
Em primeiro lugar, é preciso considerar a margem de erro declarada. Ela captura a variação amostral, ou seja, o erro que ocorre porque as pesquisas eleitorais são baseadas em apenas um subconjunto do total de prováveis eleitores que participarão das eleições. Mesmo que essa amostra de respondentes seja selecionada aleatoriamente da população total, ainda assim ela não será uma representação perfeita da população de eleitores. É daí que vem a margem de erro, usualmente entre 2% e 3%.
Em segundo, como você já deve saber, a margem de erro deixa de lado outras formas de erro que podem acometer uma pesquisa eleitoral. Por exemplo, o erro decorrente de cobertura deficiente da população-alvo: às vezes uma pesquisa pode não atingir pessoas de um determinado perfil demográfico, como residentes em bairros verticalizados. Outras vezes, o uso excessivo de fatores de ponderação para tratar justamente essas deficiências é que pode deslocar os números aferidos.
Muito mais comuns, as divergências nos números de intenção de voto entre os institutos também tem a ver com as diferenças nos enunciados das questões realizadas e a ordem em que são apresentadas no questionário; a maneira como o entrevistador se apresenta e conduz a pesquisa e a duração das entrevistas para mencionar apenas alguns fatores. Para piorar, opiniões e preferências podem mudar em questão de dias ou semanas, dependendo da informação que o eleitor adquire, gerando diferenças entre pesquisas aplicadas em diferentes momentos até a data da eleição.
O curioso é que muitos destes erros potenciais estão relacionados à maneira como as sondagens são realizadas, incluindo o método de seleção dos respondentes e o modo como as entrevistas são realizadas: presencial, telefone ou internet. Se são conduzidas por um entrevistador ou autoadministradas.
As diferenças são significativas?
Todos esses erros de não amostragem aparecem de duas maneiras. Primeiro, as pesquisas eleitorais realizadas em um mesmo período variam entre si um pouco mais do que se esperaria das explicações clássicas existentes nos livros didáticos. Em segundo lugar, e mais importante, as pesquisas tendem a superestimar ou subestimar sistematicamente a quantidade real. Isso faz com que a média calculada a partir dessas pesquisas – mesmo quando muitas – seja tendenciosa a favor de um ou de outro candidato.
Os gráficos a seguir retratam a intenção de voto espontâneo medido pelas empresas desde o final de 2020. Elas foram ordenadas pela data em que foram realizadas e também em relação à distância que estão do dia da eleição deste ano. A hipótese é que se a variação amostral e o modo de entrevista fossem as únicas fontes de erro, a distância ou a variação dos pontos nos gráficos em um mesmo período seria pequena, dentro da margem de erro usual, já que a pergunta do voto espontâneo é simples e direta em qualquer formato de entrevista – presencial, telefônico ou internet.
Mas o que se observa nestas imagens é que existe uma enorme variação nos resultados – em alguns momentos, os pontos extremos indicam que essa diferença foi maior que 20 pontos percentuais. Os últimos pontos destacados nos gráficos indicam que essa variação tende a ser menor para Jair Bolsonaro (segundo colocado nas pesquisas) do que para Luiz Inácio Lula da Silva (primeiro colocado), mas em ambos os casos ela está acima da margem de erro ainda.
A teoria corrente sustenta que a média desses vários levantamentos deve estar perto da resposta verdadeira, e que essa diferença diminui para zero à medida que mais pesquisas são realizadas. Ao final, esse valor estaria bem próximo do resultado das urnas.
Durante as próximas quatro semanas (com uma margem de erro de uma semana para mais ou para menos), vou apresentar aqui nesta coluna cada um destes problemas que podem produzir divergências significativas nos resultados das pesquisas de intenção de voto.
Na próxima semana, vou abordar como um conjunto de escolhas e decisões domésticas, tomadas internamente pelas empresas, podem acabar introduzindo vieses sistemáticos na estimativa aferida pela pesquisa. Isso é o que a literatura especializada chama de “house effects”.
Até a próxima semana!