Opinião & Análise

Ciências Comportamentais

Testar é melhor que remediar: regulação, experimentos e comportamento

Realizar experimentos regulatórios é uma prática que deve ser incorporada na Análise de Impacto Regulatório

Crédito: Unsplash/Ryoji Iwata

A implementação de uma medida regulatória é o capítulo final de um processo composto por várias etapas e momentos de decisão. Entre a identificação de um problema e a decisão final sobre como atuar, o regulador tem à disposição diferentes alternativas metodológicas e estratégias de intervenção. Por isso, a escolha dos métodos e dos critérios é tão relevante para o sucesso deste processo.

Nos artigos anteriores da nossa série no JOTA, abordamos algumas das principais possibilidades de aplicação das Ciências Comportamentais à regulação. No primeiro artigo, tratamos da concepção de agente e dos pressupostos da racionalidade e do comportamento humano.

No segundo artigo, apresentamos como as Ciências Comportamentais podem aprimorar ferramentas tradicionais – medidas de comando e controle, alteração de incentivos e campanhas de informação – e prover novas ferramentas aos reguladores. Por fim, nosso terceiro artigo tratou da aplicação de insights comportamentais à regulação responsiva.

Neste artigo, nosso foco será um conjunto de questões metodológicas relacionadas ao processo de planejamento regulatório. Nosso objetivo é apresentar de que forma os reguladores podem aprimorar esse processo com a incorporação de pressupostos metodológicos das Ciências Comportamentais na elaboração de Análises de Impacto Regulatório (AIRs).

Como explicaremos nos tópicos seguintes, a comparação entre custos e benefícios das alternativas de ação regulatória – etapa crucial da AIR – pode ser feita de uma forma diferente. De modo complementar a análises, brainstorms e projeções sobre possíveis impactos das diferentes medidas, os reguladores podem identificar a alternativa mais adequada com base no resultado de experimentos de campo (field experiments), realizados em grandeza reduzida e com resultados que possam ser escalados.

Informar a AIR com experimentos de campo pode trazer diversas vantagens para o planejamento regulatório. Com base nestes experimentos, os reguladores podem mais facilmente antecipar e conter as consequências negativas de eventuais falhas regulatórias, bem como acelerar a descoberta de acertos regulatórios. Todo o processo ganha em objetividade, segurança, eficácia e eficiência.

O que diz o Guia?

 O manual “Diretrizes Gerais e Guia Orientativo para Elaboração de Análise de Impacto Regulatório (AIR)” (Guia) fornece um caminho para os reguladores. O Guia elaborado pela Casa Civil oferece parâmetros objetivos e transparentes para cada uma das etapas do planejamento regulatório.

Por meio do Guia, os reguladores sabem como devem realizar cada ação, da identificação do problema até a seleção da medida regulatória mais adequada.

O Guia (p.23) apresenta dez etapas que os reguladores devem seguir para a realização da AIR. Para os fins deste artigo, destacamos as três etapas (as de nº 5, 6 e 7) relacionadas à seleção da medida regulatória mais adequada – para as quais as Ciências Comportamentais têm mais a contribuir.

Primeiro, reguladores devem mapear um conjunto de alternativas de ação regulatória, incluindo a opção de não fazer nada. Segundo, realizar uma análise dos possíveis impactos – das potenciais vantagens e desvantagens – de cada uma das alternativas mapeadas. Terceiro, comparar prós e contras de cada alternativa para identificar a medida mais adequada.

De acordo com o Guia (pps. 51-52), a comparação entre alternativas e a seleção da medida mais adequada (etapas nº 6 e 7) é um momento para análises, brainstormings e projeções.

Os principais insumos dessa fase são o conhecimento, a experiência e as intuições dos reguladores. É preciso ponderar acerca dos possíveis impactos positivos e negativos sobre diferentes atores – sociedade, empresas e governo.

A ideia é convergir esforços intelectuais para realizar a melhor análise ex ante possível, ou seja, realizada previamente à implementação  de qualquer medida regulatória. Não há previsão de testes nesta fase.

Por outro lado, a avaliação de impacto das medidas adotadas tem caráter ex post, uma vez que fica para depois de implementada a medida regulatória, a ser realizada por meio de outro instrumento –  a  Avaliação de Resultado Regulatório (ARR).

Portanto, conforme o Guia, a atividade de análise (ex ante) é separada da atividade de avaliação (ex post), tanto em termos cronológicos quanto metodológicos. Antes de implementada a medida, faz-se a análise das alternativas com base em um processo que não inclui testes; depois de implementada a medida, avaliam-se os resultados com base em dados quantitativos.

Uma “tempestade” comportamental perfeita

O Guia fornece um caminho para o planejamento regulatório baseado em parâmetros de objetividade, transparência e independência; porém pouco contribui para que os reguladores reduzam seus vieses na seleção da medida mais adequada.

Este processo abrange contextos arriscados do ponto de vista comportamental, como decisões com algum grau de subjetividade sobre tópicos extraordinariamente complexos (ex.: projeções de impacto de medidas regulatórias nos próximos 5 a 10 anos e comparação entre dezenas de prós e contras) e o estabelecimento de um mínimo consenso do grupo de trabalho responsável pelo relatório de AIR.

Trata-se de uma “tempestade” comportamental perfeita num contexto decisional com consequências relevantes para a vida das pessoas. O que pode ser ajustado?

Uma forma de diminuir enviesamentos da tomada de decisão é incorporar os referidos testes à fase de planejamento regulatório. Neste caso, o que fundamenta o resultado da comparação entre diferentes alternativas de ação não são as projeções de impacto, mas o resultado que as alternativas apresentam quando contrastadas com a realidade.

Com base nesta metodologia, reguladores podem desenhar um estudo – preferencialmente um experimento – para medir o impacto das alternativas de ação mais promissoras, estabelecendo eficazmente a relação causal entre regulação e comportamento.

A medida mais adequada é a que demonstrar os melhores resultados com base em critérios objetivos, ainda que não seja a opção inicialmente considerada a mais promissora – aquela que normalmente seria selecionada.

O raciocínio muda: os esforços intelectuais do grupo de trabalho são direcionados não mais apenas à seleção da medida, mas a decisões sobre o desenho e protocolo do estudo, escolha dos critérios objetivos para comparar as alternativas e estratégias para análise dos dados.

A ideia de realizar estudos em fase de planejamento pode parecer distante. Porém, se prestarmos atenção, ela pode ser bem familiar. Basta fazer uma analogia entre medicamentos e regulações. Em comum, ambos podem gerar consequências importantes na vida das pessoas, para o bem ou para o mal.

Costumamos entender que não faz sentido disponibilizar um medicamento diretamente no mercado para testar se funciona, ainda que especialistas e médicos considerem que se trata de um remédio eficaz.

É preciso antes realizar testes laboratoriais em menor escala. Caso não funcione, que os resultados fiquem circunscritos aos participantes do estudo. Caso funcione, que a cura seja disponibilizada a todos. O mesmo raciocínio pode ser estendido para parte relevante das medidas regulatórias. Neste caso, os testes não serão feitos dentro de um laboratório, mas os princípios são mesmos. Voltaremos a este tema em outro tópico.

Por fim, sabemos que não será sempre possível testar medidas regulatórias antes da implementação. Porém, acreditamos que devemos procurar oportunidades reais para avançar nesta direção.

Ajustes a duas etapas do Guia (p.23), nomeadamente a “análise de impactos” e “identificação da melhor alternativa” podem trazer muitos benefícios ao planejamento regulatório. Mas também desafios. Nos tópicos seguintes, apresentaremos estes benefícios, alguns desafios e como superá-los.

Testes ajudam a conter os vieses do regulador

Todos temos dificuldades de reconhecer os nossos enviesamentos na tomada de decisão. Em geral, quando acertarmos, achamos que foi por fatores internos – nosso esforço, experiência ou capacidade; quando erramos, atribuímos os erros a fatores externos – a equipe era ruim, não houve tempo suficiente, instruções não foram claras, faltou sorte etc.

Tendemos a inconscientemente perceber os eventos por uma lente conveniente e caridosa – os self-serving biases. É difícil identificar vieses na tomada de decisão apenas com empenho pessoal, pois a grande maioria ocorre de forma rápida, automática e inconsciente.

Em artigo publicado em 2011, Kahneman e colegas propuseram uma checklist com 12 perguntas destinadas a executivos que estejam recebendo recomendações para agir – situação análoga, apesar da clara diferença contextual, à de uma autoridade regulatória recebendo um relatório de AIR.

Com base nestas 12 perguntas, o executivo – ou a autoridade regulatória – pode diminuir vieses de si mesmo na avaliação da ação recomendada e do trabalho da equipe na elaboração da recomendação.

“A equipe está ‘apaixonada’ (fallen in love) pela recomendação?” é uma das perguntas. Tendemos a minimizar riscos e custos – e exagerar benefícios – daquilo pelo que nutrimos um sentimento positivo – a heurística do afeto.

Do ponto de vista comportamental, uma grande empolgação da equipe com uma recomendação pode servir como um sinal de alerta. Melhor pedir que pessoas externas à equipe revisem o trabalho.

Outros dois exemplos de perguntas da lista são: “De onde vieram estes números iniciais?” e “Estamos sendo otimistas demais?”. Estas perguntas têm por objetivo mitigar os vieses da ancoragem[1] e do otimismo irrealista na tomada de decisão.

Em outro artigo, Sunstein e Hastie comentam os perigos das decisões tomadas em grupo. Costumamos pensar que quanto mais pessoas estiverem trabalhando em uma tarefa, melhor.

Porém, decisões em grupo estão sujeitas a vieses próprios, que podem prejudicar a tomada decisão. Dentre os perigos, os autores apresentam o efeito de tomada de decisão em “cascata” (cascade effects): as pessoas tendem a seguir as ações do integrante que agiu primeiro.

Pior, caso o primeiro a agir tenha tomado uma ação incorreta, a tendência do grupo é corroborar e amplificar este erro em vez de corrigi-lo.

Os dois artigos mencionados ilustram alguns dos possíveis vieses que podem prejudicar o planejamento realizado pela AIR, de acordo com o caminho trilhado pelo Guia.

Análises, brainstorming, projeções e questionamentos são muito importantes, mas, caso sejam as únicas fontes de informação, oferecem riscos relevantes do ponto de vista comportamental. Afinal,os vieses estarão sempre presentes, embora sejam poucas vezes  conscientes e evidentes.

Os experimentos

O termo “experimento” pode soar algo distante da atividade regulatória. Podemos pensar imediatamente na imagem de um experimento realizado em laboratório – paredes brancas, jalecos e frascos.

Porém, existem também os experimentos de campo (field experiments), mais comuns nas ciências comportamentais e sociais. Mudam o contexto, o design e os aspectos técnicos, mas os princípios gerais são os mesmos.

Um experimento ocorre quando pesquisadores realizam alguma intervenção com o objetivo de descobrir se existe relação de causalidade entre determinada intervenção e as mudanças observadas. A relação de causalidade pode ser tanto entre um novo medicamento e a diminuição da dores de cabeça, como entre uma nova regulação sobre rótulos de alimentos e a diminuição da ingestão de açúcares por diabéticos.

Mas como saber se a intervenção fez a diferença e não qualquer outro fator –alguma variável que esteja confundindo interpretação dos dados? Por exemplo, podemos achar que o novo remédio é capaz de diminuir a dor de cabeça das pessoas. Quem toma o remédio, melhora.

Porém, dores de cabeça também diminuem naturalmente com o passar do tempo. Apenas observar a melhora das pessoas não é suficiente para identificar a causa da melhora. Pode ser que o remédio, na verdade, não faça diferença alguma.

Para aferir causalidade, é preciso ter um grupo que sirva de parâmetro – o grupo de controle. Para poder servir como um parâmetro – e não uma nova fonte de variáveis que possam confundir os resultados – o grupo de controle precisa ser o mais similar possível ao grupo, ou grupos,  de manipulação.

Idealmente, os integrantes dos grupos de controle e de manipulação são selecionados de forma aleatória de uma mesma amostra. Feita a distribuição em grupos, uns recebem a intervenção; outros, não. Feito desta forma, é possível ter confiança de que eventuais mudanças observadas no grupo de manipulação são devidas à intervenção e nada mais.

Por exemplo, um experimento realizado em Hong Kong fornece evidências de que tornar a venda de carvão mais difícil diminui o índice de suicídios realizados mediante a queima de carvão. O estudo foi realizado em 2006 e comparou dois distritos adjacentes e com características sociodemográficas similares.

Nos mercados de Tuen Mun, consumidores só conseguiam acessar carvão após pedir para funcionários dos mercados. Em Yuen Long, nenhuma diferença. Os pacotes de carvão continuaram disponíveis nas prateleiras – o grupo de controle.

Os pesquisadores compararam os resultados entre as cidades e notaram que apenas no distrito de Tuen Mun houve redução no índice de suicídios por queima de carvão. Mais importante, puderam inferir com confiança que a restrição na venda – a intervenção – foi a causa da redução.

Outro exemplo. Será que o Tuungane[2] aprimorou a autogestão de recursos de vilas onde foi implementado? Trata-se de um amplo programa direcionado ao desenvolvimento de vilas destruídas por guerras no Congo.

O programa, implementado em 2008, tem por base o conceito de que a reconstrução deve ser guiada pela comunidade (Community-Driven Reconstruction – CDR), ou seja,  de dentro para fora.

A ideia é expor as comunidades a boas práticas de governança e transparência para, dentro outros objetivos, evitar desvios na utilização e alocação de recursos recebidos.

Para testar este efeito, pesquisadores implementaram um sistema de transferência incondicional de recursos – o RAPID. Por meio do RAPID, as vilas recebiam remessas regulares de mil dólares para alocar como quisessem.

O RAPID foi transferido para 280 vilas que participaram do Tuungane e para 280 vilas que não participaram – o grupo de controle. Os dados indicaram que não houve diferença significativa na forma com que as vilas dos dois grupos utilizaram os recursos. Os problemas em quesitos como participação social e transparência[3] foram parecidos.

Experimentos às vezes confirmam ideias que parecem promissoras; outras vezes, não. Por isso mesmo refletem as melhores práticas científicas. O Prêmio Nobel de Economia de 2019, por exemplo, laureou os pesquisadores por terem identificado estratégias precisas e confiáveis de se combater problemas ligados à pobreza por meio de pequenos experimentos de campo.

Restrições na venda e implementação de programas de desenvolvimento são tópicos recorrentes da atuação regulatória. Em vez de distritos em Hong Kong, poderiam ser municípios de algum estado no Brasil.

No lugar de vilas no Congo, poderiam ser comunidades que recebem recursos de programas sociais. Os exemplos apresentados indicam como a realização de estudos experimentais pode ajudar no planejamento e aprendizado regulatório.

É possível fazer experimentos com regulação?

As vantagens de experimentos são muitas, mas os obstáculos também são relevantes. Realizar tarefas como escolher o desenho do estudo, aleatorizar a amostra, acompanhar a execução e analisar os dados não são apenas um desafio de alocação de recursos, como podem ir de encontro a princípios éticos e jurídicos. Afinal, a aplicação da Lei precisa ser feita de forma igual para todos. Os obstáculos existem, mas podem ser superados.

Primeiro, é importante entender que existem diversas formas de realizar  testes rigorosos e confiáveis para comparar o impacto de medidas regulatórias. Experimentos são recomendados, mas não necessários para que se possa realizar uma avaliação de impacto precisa e confiável. Há outras opções[4] além dos RCTs (randomized controlled trial) – o “padrão ouro” dos desenhos experimentais.

Por exemplo, às vezes não é possível realizar um RCT por obstáculos éticos, jurídicos ou logísticos à criação de um grupo de controle. Considere por um momento avaliar o impacto de incentivos fiscais em determinado setor econômico. Neste caso, separar empresas em dois grupos – para receber ou não os incentivos – geraria concorrência injusta.

Melhor para este contexto seria um teste sem grupo de controle ou aleatorização da amostra – um que não seja experimental. Neste caso, por exemplo, o regulador poderia comparar o estado das coisas antes e depois (pre & post test) da implementação do incentivo fiscal, que valeria por um período determinado, em todo um setor econômico.

É importante notar que os dois exemplos só são possíveis com o amparo jurídico apropriado. Para separar a amostra em grupos de um experimento – um grupo receberá nova regulação (a intervenção), outro permanecerá com a regulação anterior (o controle) – é preciso recorrer a uma forma de “legislação experimental”. Quando falamos de regras com período de duração limitada, o instrumento jurídico aplicável são as “sunset clauses[5].

Um bom exemplo de “legislação experimental” são as Zonas Econômicas Especiais (ZEEs). Empresas de zonas especiais estão sujeitas a uma regulação diferente de todo o resto, por um tempo determinado, como se fossem o grupo de manipulação de um grande experimento.

Na área da tecnologia e inovação, temos os exemplos das “sandboxes regulatórios”. Já as “sunset clauses” podem ser observadas nas legislações criadas em situações extraordinárias, como crises migratórias ou desastres naturais. A tecnologia jurídica existe e está a disposição dos reguladores.

Conclusão

Reguladores podem seguir diferentes caminhos da identificação de um problema regulatório até a decisão sobre como atuar. O caminho atual é o do Guia, que indica que as AIRs devem ser um espaço de análises e projeções. Avaliações e testes ficam para depois, para as ARRs.

Neste artigo, sugerimos um caminho alternativo. Por esse caminho, reguladores podem realizar testes em menor escala e com resultados escaláveis já na fase de planejamento. Os benefícios são decisões menos enviesadas e a possibilidade de antecipar e conter os prejuízos de eventuais falhas regulatórias e acelerar a descoberta dos acertos regulatórios.

 


Referências

CASA CIVIL DA PRESIDÊNCIA DA REPÚBLICA. Diretrizes gerais e guia orientativo para elaboração de Análise de Impacto Regulatório – AIR. Brasília: Presidência da República, 2018.

FORSYTH, D. Self-Serving Bias. In: DARITY, W. (ed.) International Encyclopedia of the Social Sciences. 2 ed. Vol. 7. Detroit: Macmillan Reference, 2008.

LOVALLO, D.; & SIBONY, O. The Big Idea: Before You Make That Big Decision…. Harvard business review, 89. pp. 50-60, 2011.

FINUCANE, M.; ALHAKAMI, A., SLOVIC, P.; JOHNSON, S. The affect heuristic in judgments of risks and benefits. Journal of Behavioral Decision Making, 13, pp. 1-17, 2000.

FURNHAM, A.; BOO, H. A literature review of the anchoring effect. The Journal of Socio-Economics, 40, pp. 35–42, 2011.

SHAROT, T. The optimism bias. Current Biology, 21, pp. 941-945, 2011.

SUNSTEIN, C.; HASTIE, R. Making dumb groups smarter. Harvard Business Review, 2014.

KURAN, T.; SUNSTEIN, C. Availability Cascades and Risk Regulation. Stanford Law Review, 51, 1999.

TVERSY, A.; KAHNEMAN, D. Judgment under Uncertainty: Heuristics and Biases. Science, 185, pp. 1124-1131, 1974.

YIP, P., LAW, C., FU, K., LAW, Y., WONG, P.; XU, Y. Restricting the means of suicide by charcoal burning. British Journal of Psychiatry, 196, pp. 241-242, 2010.

HUMPHREYS, M; DE LA SIERRA, R.; VAN DER WINDT, P. Social and Economic Impacts of Tuungane: Final Report on the Effects of a Community Drive Reconstruction Program in Eastern Democratic Republic of Congo. Nova York: Columbia University, 2012.

[1]Para mais informações, ver o artigo “Judgment under Uncertainty: Heuristics and Biases.

[2] Tuungane signifca “vamos nos unir” em Swahili, língua local.

[3] Por exemplo, um dos critérios para avaliar a transparência consistia em comunicar aos moradores das vilas que 900 dólares seriam repassados, 100 a menos do que o valor recebido pelos comitês comunitários. Em ambos os grupos de vilas, apenas 40% em média da população teve conhecimento de que o repasse real foi de 1.000 dólares.

[4] Para uma lista completa e didática de vários tipos de desenhos de estudos, experimentais ou não, ver a seção 3 desta publicação.

[5] Para mais informações sobre o tema, consultar o livro “Constitutional Sunsets and Experimental Legislation: A Comparative Perspective”.


Cadastre-se e leia 10 matérias/mês de graça e receba conteúdo especializado

Cadastro Gratuito