Guilherme Jardim Duarte
O que esperar sobre as chances de acertos e erros dos institutos de pesquisa nas eleições de 2018 no Brasil? Esta não é uma pergunta trivial. São inúmeros os exemplos anedóticos de candidatos que acabam por vencer, mesmo contra as previsões negativas. Num cenário de grande polarização política, isso se torna ainda pior, e as pesquisas acabam por carregar a pecha de “falsas” por não acertarem com acurácia os resultados eleitorais, como acusam partidários de determinados candidatos.
Para tentar entender o cenário das pesquisas eleitorais, o JOTA analisou a influência da quantidade de dias que separam as pesquisas das eleições. Trata-se do primeiro de uma série de estudos que serão publicados pelo site antes da disputa de outubro deste ano. O material inaugura, nesta terça-feira (30/01), a cobertura da editoria “Eleições 2018”, que vai reunir todas as reportagens produzidas pela equipe do site sobre o tema – antes e depois da disputa nas urnas.
Apesar de eventuais erros, como comprovado por diversos estudos, as pesquisas oferecem boas estimativas, sobretudo quando são realizadas próximas à eleição.
Quando distantes da data em que a população vai às urnas, os erros são geralmente maiores. Como justificativa-padrão, os institutos apontam que as pesquisas são apenas “retratos das intenções” no momento em que são realizadas e não de um futuro resultado. Como define o cientista político John Zaller, da Universidade da Califórnia, as pessoas tendem a responder às pesquisas com aquilo que está no “topo das suas cabeças” (on top of your head). Essa resposta faz sentido. Porém, essas pesquisas reúnem informações que, por menores que sejam, podem trazer subsídios para se entender o futuro.
Neste primeiro estudo, queremos entender de que maneira as pesquisas divergem dos resultados eleitorais propriamente ditos. Para isso, há uma série de métodos oferecidos pela ciência política e pela estatística. Entre eles, optamos por utilizar a diferença entre a porcentagem de votos válidos – isto é, excetuando-se as respostas não-válidas (como voto branco, nulo, não sabe ou respondeu, e nenhum candidato) – atribuídos a um candidato pelas pesquisas e a parcela de votos obtidos por ele nas eleições.
Já para analisar a extensão da divergência, calculamos o valor absoluto dessa diferença, desconsiderando se é negativa ou positiva. Além disso, para o cálculo, escolhemos apenas os candidatos que obtiveram mais de 5% dos votos válidos nas eleições.
A equipe de dados do JOTA coletou os resultados de todas as pesquisas e das eleições para governador e presidente nos anos de 1998, 2002, 2006, 2010 e 2014. Escolhemos quatro institutos: Datafolha, Ibope, Vox Populi e Sensus, cujo número de pesquisas é o mais alto para a nossa amostra. A tabela abaixo resume os dados coletados. Em seguida, reunimos no formato de perguntas e respostas as principais conclusões do estudo.
1 . As pesquisas subestimam ou superestimam os candidatos?
Utilizamos um gráfico de dispersão para chegar a essa resposta, que mostra a relação entre o tempo restante para as eleições (1º turno) e a divergência entre pesquisa e eleição. Cada ponto indica a quanto tempo antes da eleição foi feita uma pesquisa (eixo x) e a diferença para o resultado final (eixo y). A reta azul representa o valor esperado de divergência dada a quantidade de dias para o pleito.
A reta nos mostra que, como esperado, as pesquisas tendem a subestimar ligeiramente (menos que 5%) os candidatos quando realizadas muito antes das eleições. Entretanto, nos últimos cem dias, essa diferença é relativizada e chega a valores próximos de zero. Em outras palavras, na média, as pesquisas acertam.
2 . A divergência tende a diminuir com o número de dias para as eleições?
Diferentemente do primeiro gráfico, a próxima análise considera o valor absoluto da diferença, isto é, desprezando se é negativa ou positiva.
As pesquisas realizadas divergem, em média, nove pontos percentuais do resultado real das eleições quando feitas até oitenta dias antes da eleições. A partir disso, a diferença cai para valores próximos de cinco pontos percentuais, nos últimos dias.
Há duas questões a se registrar aqui. A primeira delas explica a queda acentuada a partir dos últimos dias. É de se esperar que isso ocorra porque é nesse período que expressamente as campanhas se iniciam e, assim, a incerteza em relação às eleições diminui. Também, quanto mais próximo do dia de votação, menor a probabilidade de eleitores mudarem suas preferências.
A segunda diz respeito à margem de erro. Quaisquer desses valores médios estão bem acima dos valores reportados pelos institutos de pesquisa em relação ao intervalo de confiança de 95%, mesmo nos últimos dias. Há muitas explicações para isso. A primeira delas é que a margem de erro fornecida é de alguma forma fictícia, calculada apenas para fins de registro no Tribunal Superior Eleitoral. Além disso, ela considera apenas o erro amostral, aquele decorrente do próprio trabalho de inferência estatística.
No intervalo de confiança, nunca é reportado o erro de cobertura quando há um descompasso entre a amostra selecionada e as características da população. Esse erro pode ocorrer, por exemplo, em pesquisas que confiam em respostas por telefone – uma vez que nem todos os brasileiros eleitores possuem telefone, os resultados podem carregar algum viés. Também não é reportado o erro de não-resposta quando a taxa de entrevistados que não respondem à pesquisa está correlacionada com voto em algum candidato.
Imagine, por exemplo, que pessoas mais pobres, por algum motivo, têm maior tendência a não revelar seu voto nas pesquisas. E, além disso, essas pessoas tendem a votar em um candidato específico. Isso geraria um erro de não resposta e poderia explicar, por exemplo, porque algumas pesquisas, mesmo próximas à eleição, divergem do resultado oficial fora da margem de erro. Nas últimas eleições americanas, essa foi uma das hipóteses para explicar a subestimação de votos para o candidato Donald Trump.
Existem várias técnicas mais avançadas usadas nos Estados Unidos para modelar erros que são gerados por não respostas, por exemplo. Mas esses métodos não fazem parte dos resultados apresentados por institutos.
3. A divergência permanece quando condicionada por eleição de governador ou presidente?
Condicionando por cargos, governador ou presidente, a descrição das divergências é bem diferente, conforme mostra o gráfico abaixo. Aparentemente, para presidentes, a diferença das pesquisas é bem menor – o que significa que os candidatos que desejam ser competitivos precisam crescer nas pesquisas quando a eleição começar para valer. Para presidente, o erro reportado é menor, embora a tendência pelo tempo siga uma trajetória parecida nos dois casos.
4. Qual foi a maior divergência considerada?
Entre as maiores divergências encontradas, o candidato Paulo Câmara, do PSB, nas eleições para governador de 2014, em Pernambuco, iniciou a campanha como um grande azarão, obtendo resultados próximos de 15% dos válidos, 129 dias antes do pleito. Porém, acabou sendo vitorioso com 69% dos votos válidos.
Há alguns outros casos que mostram a trajetória do azarão que começa na campanha bem abaixo do esperado e termina com uma vitória esmagadora, mas isso não é o padrão.
Isso nos traz subsídios para compreender o que as pesquisas nos dizem até agora para as eleições de 2018. O primeiro fato é que se espera que apenas nos últimos 45 dias de campanha a incerteza das pesquisas decaia. Isso se deve à redução da desconfiança dada pelo momento da campanha eleitoral.
Além disso, isso nos permite avaliar a quantidade de incerteza. Neste momento, Jair Bolsonaro, Geraldo Alckmin, e Lula (embora neste último caso, devemos avaliar a probabilidade das consequências eleitorais de sua condenação) ainda podem ser considerados empatados.
