Guilherme Jardim Duarte

Fernando Mello

Nas últimas semanas, uma polêmica se abriu em relação à tradição das pesquisas eleitorais presenciais, realizadas por institutos como Datafolha e Ibope, e às pesquisas por telefone, feitas por institutos como o IPESPE, contratado pela XP Investimentos, e o Datapoder360.
Essa polêmica resultou em uma representação da Associação Brasileira de Empresas de Pesquisa ao Tribunal Superior Eleitoral (TSE) afirmando que pesquisas por telefone não guardam a mesma validade que as feitas face a face.
<ul class="jota-article__internal-links">
<li>+JOTA PRO:<a href="https://www.jota.info/pro/degustacao-poder"> Entenda o cenário institucional com o JOTA Poder. Seguimos de perto tribunais superiores, agências reguladoras, Congresso, Poder Executivo e legislativos estaduais e municipais para reportar informações públicas de impacto. Experimente o serviço que tem ajudado empresas e atores do mercado financeiro!</a></li>
</ul>
Afinal, qual metodologia é a mais acurada: telefone ou face a face? Para uma resposta correta, em primeiro lugar, devemos ter uma base grande para comparar  com os resultados reais das eleições. Todavia, considerando que as pesquisas por telefone são recentes no Brasil, essa alternativa é impossível.
O melhor é, então, buscar o que nos diz a teoria estatística. A imagem que ilustra este texto, por exemplo, mostra o ex-presidente Harry Truman segurando uma manchete errada, em 1948, baseada em uma pesquisa eleitoral com amostra enviesada. Truman foi eleito naquela campanha, e não derrotado
Amostragem em estatística é um assunto bem estudado. Para a maior parte das pessoas, porém, o tema ainda é carregado de dúvidas. Como questionou  uma famosa personalidade, nas eleições de 2014: “como é possível que 3.000 respondentes representem 140 milhões de pessoas?”
O fato é que esse problema foi resolvido há bastante tempo na teoria da estatística. Há uma série de resultados em teoria da probabilidade e inferência que o justificam, como a lei dos grandes números e o teorema central do limite. Um leigo provavelmente diria que é possível que, numa eleição, para uma amostra de 3.000 pessoas, todas as escolhidas sejam eleitores de um candidato X. Isso é verdade, mas esse resultado é tão improvável, conforme se aumenta uma amostra, que dificilmente chegaríamos a ele. Por isso mesmo, as pesquisas indicam uma margem de erro para cada estimativa, que representam a área de maior probabilidade para uma estimativa.
Em relação à metodologia, na teoria da amostragem, geralmente estuda-se a Amostragem Aleatória Simples (AAS). Essa técnica consiste em possibilitar que cada membro da população tenha a mesma probabilidade de ser escolhido, com o efeito de gerar resultados acurados e com margens de erro facilmente calculáveis.
Quando estudamos a AAS, num curso de estatística, geralmente utilizamos como exemplos jogar com dados ou moedas. Porém, quando tratamos de eleitores, tudo se torna mais difícil. A técnica carrega uma grande dificuldade de ser executada. No Brasil, nenhum instituto a realiza, embora seja a regra de ouro para amostragem eleitoral.
Os institutos utilizam outros métodos de amostragem que visam aproximar esse resultado. Nenhum desses métodos é perfeito, e todos eles podem sofrer de algum tipo de viés. O primeiro deles é o erro amostral, gerado pela própria técnica amostral, e é reportado pela margem de erro. Há outros tipos de erro, porém:
1) erro de enquadramento (cobertura). Ocorre quando a amostra não reflete a população para a qual se faz inferência. Por exemplo, se amostrarmos apenas aqueles que possuem telefone, os que não possuem não terão representação e podem enviesar as estimativas. Isso porque, na verdade, estamos considerando para a amostra um número menor de pessoas do que da população que, na realidade, desejamos estudar.
2) erro de medida. Ocorre quando a própria forma da pesquisa afeta o resultado, por exemplo, quando a ordem de candidatos apresentada impacta a resposta;
3) erro de especificação, quando a interpretação do respondente em relação à pergunta difere da intenção do entrevistador;
4) erro de não-resposta, quando os indivíduos que não respondem a uma pesquisa estão correlacionados com o voto em determinado candidato. Em específico, esse último deve ser analisado com calma. No Brasil, os institutos geralmente não fornecem a taxa de não-resposta de suas pesquisas. Esse é um dado que jornalistas poderiam exigir. O instituto Datapoder360 numa pesquisa publicada recentemente publicou sua taxa: mais de 98% de não-resposta. Essa atitude é louvável e traz transparência para a comparação entre institutos diferentes. Por outro lado, há uma chance de enviesamento. Imagine que os eleitores de Jair Bolsonaro sejam mais propícios a externar seus votos do que outros. Isso mudaria o resultado. Outro exemplo. Imagine que eleitores mais pobres, por algum motivo, tenham mais medo de dizer seu voto. E eleitores mais pobres tendem a votar em um certo candidato. Os resultados, novamente, seriam enviesados.
<h3>As diferenças das pesquisas</h3>
Além do valor para contratá-las, uma vez que a pesquisa face a face é bem mais cara, a crítica padrão é a de que as pesquisas por telefone podem sobre-representar alguns estratos (e sub-representar outros). Geralmente é colocado que essas pesquisas selecionam as faixas de maior renda e isso superestima algumas estimativas e subestima outras. Outro ponto é que pessoas que não estão trabalhando teriam mais chances de responder.
Embora isso possa ser verdade, a teoria da estatística conhece uma série de métodos para corrigir esse viés. Em um artigo que ficou famoso há alguns anos, “<a href="https://www.microsoft.com/en-us/research/wp-content/uploads/2016/04/forecasting-with-nonrepresentative-polls.pdf" target="_blank" rel="noopener">Forecasting elections with non-representative polls</a>”, os autores Wei Wang, David Rothschild, Sharad Goel, e Andrew Gelman utilizaram uma pesquisa realizada no videogame Xbox, para obter resultados acurados para as eleições americanas de 2012.
O segredo para isso é utilizar uma técnica conhecida como “pós-estratificação” Bayesiana com modelagem hierárquica. Esse método permite “corrigir” a amostra pela proporção da população, de acordo com algumas características: educação, idade, gênero, entre outros.
O método ganhou até um apelido engraçado, MrP, que realiza esse ajuste, e foi bastante popularizado por Gelman, um dos autores. O gráfico seguinte, retirado do artigo, mostra os resultados do MrP em comparação aos do site <a href="http://elections.huffingtonpost.com/pollster">Pollster.com</a>, um famoso site agregador de pesquisas, para o apoio do candidato Barack Obama.
<img class="size-full wp-image-137837 aligncenter" src="https://www.jota.info/wp-content/uploads/2018/06/dcbe7e0fe50d6112fc8b9dd47818ee6c.png" alt="" width="911" height="397" />
Isso mostra que é bem possível obter resultados acurados com pesquisas por video-game, pela internet, por telefone, desde que haja um ajuste. Isso, claro, em tese. Não sabemos ainda se esse tipo de método é utilizado pelos institutos brasileiros.
Além disso, há mais diferenças entre os Institutos do que essa categoria binária, telefone ou face a face, pode sugerir.  Apenas para comparar os 4 institutos mencionados, podemos expor a metodologia, segundo registros no site do TSE:
a) Datafolha, pesquisa face a face, realizada por ponto de fluxo. Primeiro, são sorteados municípios. Em seguida, são sorteados bairros e pontos, onde serão realizadas as entrevistas.
b) Ibope, pesquisa face a face, com sorteio em três estágios: municípios, setores censitários, e residentes.
c) IPESPE, pesquisa por amostragem de telefones fixos e celulares. Entrevistas realizadas por pessoas.
d) Datapoder360, amostragem de telefones fixos e celulares. Uso de sistema automatizado para coleta das respostas.
Em relação à acurácia sobre o resultado eleitoral, pouco sabemos sobre os novos institutos. Ibope e Datafolha têm um histórico de credibilidade forte. É conhecido que suas pesquisas, quando realizadas próximo às eleições, têm um desvio baixo sobre o resultado das disputas.
Em outras palavras, são bastante acuradas. Mesmo entre esses dois institutos, porém, há distinções relevantes. O estatístico Neale El-Dash, em um <a href="http://sleekdata.blogspot.com/2014/10/a-mnetodologia-dos-institutos-de.htm">texto</a> de alguns anos atrás, argumenta que, de um ponto-de-vista estatístico, elas são bastante diferentes.
<h3>Amostragem probabilística por cotas</h3>
Já o método do Ibope representaria uma Amostragem Probabilística por Cotas (APC), enquanto o Datafolha apenas uma Amostragem por Cotas (AC). Esses dois métodos podem trazer resultados muito distintos, de acordo como se realiza a pesquisa.
Sobre IPESPE e Datapoder360, de um ponto-de-vista de acurácia em relação ao resultado das eleições, devemos esperar a sua realização para comparação.  Do ponto-de-vista da inferência estatística, podemos pensar em algumas hipóteses. Primeiro, faz bastante sentido o argumento de que estejam superestimando a intenção no candidato Jair Bolsonaro e subestimando Marina Silva, se tomarmos como comparação a última pesquisa do Datafolha.
Os resultados para Bolsonaro foram 21% (Datapoder360), 24% (IPESPE), e 17% (Datafolha). Já para Marina Silva, os valores foram 7% (Datapoder360), 13%  (IPESPE), e 15% (Datafolha). Há uma diferença de mais de um mês entre as pesquisas, então há a hipótese de que a intenção de voto tenha se alterado. Porém, é bastante provável que estejamos diante de um “<a href="https://fivethirtyeight.com/features/calculating-house-effects-of-polling-firms/" target="_blank" rel="noopener">house effect</a>”. “House effects” são as tendências de um instituto em superestimar ou subestimar um candidato, por conta de sua metodologia.
O instituto Datapoder360 publicou sua <a href="https://www.poder360.com.br/pesquisas/conheca-a-metodologia-das-pesquisas-telefonicas-e-pessoais-face-a-face/">taxa de não-resposta</a>. O valor de não resposta é bem alto em relação ao que considera como válido para este tipo de pesquisa. A transparência em divulgá-la deve ser louvada. Não sabemos a taxa de não-resposta para o IPESPE.
Em relação à influência da ordem dos candidatos, as pesquisas por telefone têm uma desvantagem de não poderem apresentar um disco de respostas, como os institutos face a face geralmente fazem. Isso é um problema, mas que exige um tratamento empírico para identificar a sua extensão. Além disso, é possível que uma aleatorização dos nomes atenue um possível viés.
Um problema adicional: para alguns cenários com muitos candidatos, o Datapoder360 também exige que o respondente disque um número para ouvir mais candidatos. Uma simples aleatorização, sem um grande aumento da amostra, não seria suficiente para resolvê-lo.

Dewey_Defeats_Truman_(AN-95-187)_resized

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Pesquisas por telefone podem sobre-representar estratos, mas isso não significa que não possam ser corrigidas

Pesquisas por telefone ou face a face: quais são mais acuradas?

Nas últimas semanas, uma polêmica se abriu em relação à tradição das pesquisas eleitorais presenciais, realizadas por institutos como Datafolha e Ibope, e às pesquisas por telefone, feitas por institutos como o IPESPE, contratado pela XP Investimentos, e o Datapoder360.