Daniel Marcelino

Fernando Mello

Chegou o momento de o JOTA prestar contas a quem se interessa pelo <a href="https://www.jota.info/produtos/aprovometro" target="_blank" rel="noopener noreferrer">Aprovômetro</a>. Considerando as votações adicionadas à base de dados em 2020, a ferramenta apresentou uma acurácia balanceada de 84%, um resultado similar ao obtido em 2019, o que indica uma consistência nos resultados, mesmo com a pandemia alterando profundamente o processo legislativo. O que isso significa, na prática?
A ferramenta de aprendizado de máquina do JOTA previu corretamente o resultado de 111 do total de 157 proposições que foram aprovadas no Legislativo e sancionadas pelo presidente da República ou promulgadas pelo Congresso Nacional. Esse resultado equivale a uma taxa de acerto de 71% (no jargão do machine learning isso indica a sensibilidade do modelo).
<a href="https://www.jota.info/produtos/aprovometro"><img class="aligncenter wp-image-292714 size-full" src="https://www.jota.info/wp-content/uploads/2021/01/aprovometro.jpg" alt="" width="688" height="688" /></a>
Já entre as proposições que foram arquivadas, retiradas e devolvidas aos seus autores, a ferramenta previu o resultado de 4921 do total de 4992 proposições - o que se traduz em uma taxa de acerto de quase 99% (especificidade, no jargão).
A partir desses valores, é possível medir o grau de acurácia balanceada do nosso algoritmo (84%), um índice que indica o quão bom é o classificador binário, na prática. Essa informação é útil especialmente porque no Aprovômetro as duas classes são muito desequilibradas. Afinal de contas, o número de projetos aprovados é bem pequeno em relação ao total de projetos apresentados: menos de 1%.
Se considerarmos apenas os projetos apresentados em 2020, ano da pandemia, o Aprovômetro previu 26 de 31 proposições (84%) que viraram lei e acertou 99 de 102 proposições arquivadas (97,1%).
Até o fim de 2019, ano em que a ferrramenta foi lançada, <a href="https://www.jota.info/legislativo/aprovometro-projetos-previsao-09012020" target="_blank" rel="noopener noreferrer">o Aprovômetro previu corretamente</a> o resultado de 7.626 do total de 7.993 proposições que foram arquivadas, ou 95,5% do total. Já entre as proposições que foram convertidas em lei a ferramenta acertou o resultado de 442 do total de 614; ou seja, uma taxa de acerto de 72%. Já a acurácia balanceada foi de 85%.
O Aprovômetro é uma das ferramentas de machine learning do JOTA, que calcula as chances de aprovação de diversas proposições legislativas em tramitação na Câmara e no Senado. Esse modelo de inteligência artificial aplicada tem ajudado os assinantes do JOTA PRO, empresas, governos e setores econômicos a construir estratégias e antecipar movimentos para gerenciar riscos dentro do cenário de regulação brasileiro.
2020 foi um ano de extremos para a ferramenta
No  final de 2020, o JOTA enviou um relatório detalhado com uma lista dos projetos mais importantes aprovados no Congresso durante o ano (<a href="https://www.jota.info/minha-conta/relatorios-e-pesquisas" target="_blank" rel="noopener noreferrer">disponível aqui</a>). A lista é apresentada no quadro a seguir, acompanhada das chances calculadas pelo Aprovômetro. Nesse universo, a taxa de acerto foi de cerca de 60%.
<img src="https://mcusercontent.com/4911ce1e520f5bf26dd891c79/images/a76d4758-c3ec-461a-a289-d7eba84daec0.png" width="464" height="551" data-file-id="1366616" />
Os exemplos acima dão uma indicação sobre alguns dos desafios enfrentados por modelos de aprendizado de máquina. Nem todas as proposições puderam ser analisadas a fundo pelo algoritmo por razões diversas. Primeiro, temos exemplos como o do PL 4523/2020, que foi transformado em lei ordinária. Mas quem acessar a página do projeto na Câmara vai verificar que no sistema de informações legislativas só consta um único despacho, o da apresentação do projeto no dia 10 de setembro de 2020. Dessa forma, não havia informações para o modelo fazer um cálculo.
Em casos como esse, o processo de análise pelo Aprovômetro fica deficiente, uma vez que os registros de movimentação de uma proposição funcionam como "sensores" para o nosso algoritmo, enviando informações periódicas sobre a velocidade e a trajetória da proposição até a etapa final: a sanção ou veto presidencial.
Além disso, em 2020, especialmente depois de o Congresso adotar o regime especial de trabalho e de deliberação remota, algumas proposições tramitaram nas duas Casas em tempo recorde, sem que o Aprovômetro tivesse tido a chance de atualizar todas suas bases de dados e produzir novas estimativas antes da sanção presidencial. Um exemplo é o PL 9236/2017, de autoria do deputado Eduardo Barbosa (PSDB/MG), registrado no Senado como PL 1066/2020, e que instituiu a política de auxílio emergencial. Depois que o PL foi levado ao Plenário Virtual, ele foi aprovado nas duas Casas em apenas sete dias.
Por outro lado, um número maior de projetos ficou estacionado na Mesa Diretora da Câmara. Como por exemplo, o PL 132/2020. Apresentado pelo deputado Coronel Tadeu (PSL/SP) em fevereiro do ano passado,  ele ainda aguarda o despacho inicial do presidente da Casa para ser distribuído a alguma comissão.
Durante o regime de trabalho remoto as atividades nas comissões temáticas foram paralisadas. Assim, os projetos que avançaram no último ano foram debatidos e melhorados diretamente no Plenário Virtual, fazendo com que o processo de deliberação e votação se tornasse bastante lento. Sem o trabalho de "chão de fábrica" realizado nas comissões, as proposições chegavam ao Plenário muitas vezes sem consenso por parte das lideranças, exigindo maior esforço de articulação no momento da votação.
Quer saber mais sobre o Aprovômetro?
A cada semana, novos dados são incluídos <a href="https://www.jota.info/minha-conta/produtos/relatorios/aprovometro" target="_blank" rel="noopener noreferrer">na ferramenta online (disponível na área logada</a>) e as chances de aprovação dos projetos refletem as alterações ocorridas no período. Além da probabilidade de aprovar ou arquivar cada projeto de lei, a ferramenta também traz informações sobre os parlamentares, a taxa de efetividades dos autores e relatores, o que permite ao analista realizar comparações fundamentais para compreender a trajetória dos projetos no Congresso.
O algoritmo utiliza dados e meta informações de todas as proposições legislativas de interesse que tramitaram na Câmara e no Senado a partir de 2001, totalizando mais de 67 mil proposições e 2,7 milhões de registros de movimentação, fornecendo uma visão geral do processo legislativo nas duas Casas Legislativas.
O Aprovômetro considera os seguintes tipos de proposições legislativas para o cálculo de aprovação: PEC, PL, PLS, PLP, PLC e PLV. Portanto, MPV, projetos de resolução, de decreto legislativo, indicações, requerimentos, mensagens, recursos etc, atualmente não são analisados diretamente pela ferramenta, mas deverão ser incluídos em atualizações futuras da ferramenta.

PEC dos Precatórios

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Ferramenta de machine learning também acertou que 99% das proposição arquivadas não seriam aprovadas

Aprovômetro do JOTA previu corretamente 71% das propostas que viraram lei em 2020

Ferramenta de machine learning também acertou que 99% das proposição arquivadas não seriam aprovadas