Daniel Marcelino
A casa sempre vence
As pesquisas eleitorais fornecem informações preciosas sobre as chances de um determinado candidato vencer a eleição. As pesquisas nos ajudam a decodificar quais são as escolhas dos diferentes segmentos da sociedade, o que mais os preocupa e o que desejam do futuro governo. Por razões óbvias, as sondagens eleitorais são ainda mais apreciadas em momentos de extrema incerteza e volatilidade, como o atual. Mas é preciso levar em conta uma coisa: seus números não são tão precisos como gostaríamos.
Por que as pesquisas de diferentes institutos são tão diferentes? Como escrevi nesta coluna, há muitas evidências ao redor do mundo (veja por exemplo as eleições de 1936 nos Estados Unidos e de São Paulo em 1985) indicando que pesquisas eleitorais podem sofrer de uma variedade de erros não amostrais, além daqueles erros decorrentes dos modelos de amostragem usados pelas empresas. Para mitigar esses erros estatísticos não amostrais, cada empresa desenvolve estratégias de ajustes ad hoc das estimativas, dando origem aos house effects.
House effects, “viés da casa”, “vício estatístico”, ou simplesmente viés é o termo técnico usado por pesquisadores de opinião pública para se referir aos vieses sistemáticos que podem estar associados a diferentes empresas. Ou seja, a tendência de uma casa (instituto de pesquisa) em superestimar ou subestimar um candidato, por conta de sua metodologia.
Não se trata de viés político ou partidarismo. Até que provem o contrário, as empresas de pesquisa no Brasil não se alinham aos partidos políticos como às vezes ocorre nos Estados Unidos. Não existem aqui empresas identificadas como conservadoras e empresas liberais.
Na Balança, modelo que atualizamos semanalmente no JOTA, é possível ver os house effects estimados de cada instituto de pesquisa para cada candidato. No primeiro trimestre deste ano, os vieses calculados no modelo são representados assim:
O que isso significa? As imagens mostram o ponto médio de tendência da casa estimado para cada candidato associado a uma distribuição de probabilidades. Ou seja, o ponto médio estimado é o valor mais provável do viés calculado pelo modelo. Assim, é possível entender quais institutos promovem vieses mensuráveis para cada resultado, considerando um ponto de referência, como a média das empresas.
Para pegar os exemplos de maiores discrepâncias, estima-se que o Instituto Ranking Brasil subestima a intenção de voto para Lula em cerca de 2,5 pontos percentuais, mas por outro lado, superestima o voto em Bolsonaro em cerca de 2,3 pontos percentuais. As empresas Sensus e Datafolha apresentam tendência que favorece o candidato petista em aproximadamente 1 ponto, mas subestima o voto em Bolsonaro em 3 e 4 pontos, respectivamente.
Existem muitas limitações qualitativas e quantitativas envolvendo a medição da tendência das casas, especialmente no período pré-eleitoral. Embora o modelo considere as diferenças constantes e não esporádicas, é possível que as maiores diferenças ocorram não pela metodologia, mas por mudanças de cenário entre as pesquisas.
O errado é você…
As empresas não falam desses vieses abertamente, mas no período eleitoral muitas das escolhas metodológicas tomadas pelas empresas são publicadas de forma transparente no sistema de registro de pesquisas eleitorais do Tribunal Superior Eleitoral (TSE).
Estas escolhas são as potenciais culpadas pelas pequenas diferenças sistemáticas que vemos ao longo de uma campanha entre um instituto de pesquisa e outro. É importante destacar que todas as empresas têm algum tipo de viés estatístico e isso é normal. A constatação desses vieses não significa necessariamente que os resultados estão errados. Aliás, são estas escolhas que fazem com que uma empresa se destaque no mercado.
No fundo, o que chamamos de house effects funciona como a combinação secreta de temperos que cada restaurante utiliza para deixar os pratos ainda mais especiais para os seus apreciadores. No mercado de pesquisas, as diferenças metodológicas entre as empresas são assimiladas tanto por quem as contrata quanto por quem apenas faz uso das informações divulgadas.
Por mais que se fundamente em decisões objetivas, buscando alcançar maior eficiência possível, toda pesquisa eleitoral traz algum tipo de viés. E tudo bem, nós só precisamos aprender a lidar com isso todas as vezes que olharmos para os números.
O que causa esses vieses?
A lista das causas pode ser bem extensa, mas veja alguns exemplos frequentes que podem impactar na aferição das intenções de voto:
- Se a pesquisa perguntar a intenção de votos apresentando uma lista em ordem alfabética e sem rodízio dos nomes, pode influenciar os resultados para os primeiros candidatos da lista. Há institutos que usam também estímulos visuais com os cenários pré-eleitorais.
- Se a pesquisa mede intenção de votos utilizando cotas demográficas, a decisão sobre como segmentar a população e quais cotas incluir pode influenciar a amostra final, e consequentemente os números da pesquisa. Por exemplo: há institutos que incluem cotas de eleitores jovens entre 16 e 17 anos e outra cota de jovens entre 18 a 29 anos, enquanto outros preferem incluir uma única cota, com jovens de 16 a 24 anos. Há também variedade de perfis de amostras para renda, educação e religião.
- Se a pesquisa usar a informação de votos passados para pesar amostras, pode influenciar os resultados com recall falso.
- Se a pesquisa usar modelagem da intenção de participar nestas eleições para transformar uma amostra de adultos em uma amostra de prováveis eleitores, pode acabar influenciando a amostra para algum perfil sociodemográfico.
- Se a pesquisa usar métodos de sorteio em uma ou mais etapas no processo da pesquisa, combinando com o uso de diferentes estratégias de balanceamento e ponderação das amostras, como raking, matching e MrP, pode gerar resultados diferentes de outras empresas que não usam pós-estratificação.
- Se o que a pesquisa mede difere entre empregados e desempregados, o fato de uma empresa ligar apenas durante o dia pode influenciar a amostra para desempregados.
- Se o que a pesquisa mede difere de usuários de telefones celulares e usuários de linhas fixas, a base de telefones usada pela empresa pode influenciar a amostra para um dos grupos.
Além das hipóteses listadas acima, outras escolhas feitas pelas empresas podem afetar os resultados da pesquisa. Por exemplo, a redação e ordem das perguntas. Uma rápida olhada nas questionários divulgados pelas empresas permite verificar que algumas empresas preferem incluir uma dezena de perguntas antes da questão de intenção de votos, enquanto outras trazem logo no início a pergunta de intenção de votos.
O modo de pesquisa entra?
Sim. O modo de pesquisa (modo de seleção e entrevista dos participantes) também pode produzir seu próprio viés nas estimativas. Por exemplo, a conveniência social pode influenciar as respostas em pesquisas presenciais com entrevistadores. Já os painéis de internet podem aumentar a colaboração dos entrevistados favorecendo a obtenção de respostas sinceras; por outro lado, podem ter baixa cobertura e representatividade de toda a população de eleitores. Devido à complexidade que esse tema merece, vou abordar esse tópico separadamente na próxima semana.
Como o viés da casa pode ser medido?
Não existe um método consensual e definitivo sobre como medir o viés da casa, ou seja, a tendência de um instituto em favorecer um candidato por conta da metodologia utilizada. Mas é importante compreender que a unidade de observação é a empresa e não a pesquisa ou levantamento específico.
Há diferentes estratégias metodológicas para medir os vieses da empresa de pesquisa. Isso significa que o analista também precisa fazer escolhas, assumir de início alguns pressupostos. Os métodos mais comuns são:
1) Basear os house effects no resultado final da eleição. Ou seja, comparar o resultado de uma pesquisa com a distância que a empresa ficou do resultado da eleição passada, ou então usar a média histórica dessa diferença.
2) Assumir que o efeito de uma ou mais empresas é zero. É uma solução simples, mas arbitrária e com alguma dose de subjetividade. É uma solução popular e fácil de interpretar, uma vez que os coeficientes de uma empresa são comparados com os de outra ou com o conjunto de empresas de referência, geralmente duas ou três empresas do mercado com alta reputação.
3) Assumir que a soma de todos os efeitos é zero. Trata-se de uma solução também arbitrária, mas conveniente, e de simples interpretação. O modelo estima simultaneamente a intenção de voto latente não observada para todos os dias do período selecionado, comparando a tendência da empresa para todas as outras empresas que divulgaram suas pesquisas no período.
