Opinião e Análise

Tarcízio Silva

O Judiciário brasileiro possui algumas implementações, estudos de casos e bases de dados que já são referências internacionais. Desde a Resolução 332 de 2020, que dispõe sobre a ética, a transparência e a governança na produção e no uso de <a href="https://www.jota.info/tudo-sobre/inteligencia-artificial">inteligência artificial</a> no Judiciário, o Conselho Nacional de Justiça (<a href="https://www.jota.info/tudo-sobre/cnj">CNJ</a>) estabeleceu bases normativas que vêm sendo discutidas como caso não só para o próprio setor, mas para outros grupos interessados nos potenciais e limites do controle social da tecnologia.
Potencialmente a plataforma nacional Sinapses, que tem como armazenamento, treinamento supervisionado, controle de versionamento, distribuição e auditoria dos modelos de IA usados pelo Judiciário brasileiro, fortalece também a abordagem de transparência por outros setores.
<h3><a href="https://conteudo.jota.info/marketing-lp-newsletter-ultimas-noticias">Assine a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas no seu email</a></h3>
Em um contexto em que o brasileiro ainda demonstra, com razões, desconfiança em relação à IA<a href="#_edn1" name="_ednref1">[1]</a>, o entusiasmo disruptivo do Judiciário tem sido repetidamente comprovado. O recém-publicado relatório de pesquisa O uso da inteligência artificial generativa no Poder Judiciário brasileiro<a href="#_edn2" name="_ednref2">[2]</a> mostrou que quase 50% dos magistrados e servidores já utilizam a tecnologia com alguma frequência de uso. E um dado alarmante é que a maioria absoluta utiliza soluções desenvolvidas pelas big tech, notadamente OpenAI, Microsoft e Google.
Nesse contexto, que ganhou mais urgência com a disseminação dos grandes modelos de linguagem (LLM), o Grupo de Trabalho sobre Inteligência Artificial no Poder Judiciário (GTIA) tem revisado a resolução. Dois pontos me parecem particularmente interessantes na minuta<a href="#_edn3" name="_ednref3">[3]</a> posta à escrutínio público em setembro: a inclusão de capítulo dedicado a IA generativa e LLMs; e o direcionamento a uma harmonização com o <a href="https://www.google.com/search?q=PL+2338%2F23&amp;oq=PL+2338%2F23&amp;gs_lcrp=EgZjaHJvbWUqCwgAEEUYExg7GIAEMgsIABBFGBMYOxiABDIKCAEQABiABBiiBDIKCAIQABiABBiiBDIKCAMQABiABBiiBDIKCAQQABiABBiiBDIKCAUQABiABBiiBNIBBzM3OWowajeoAgCwAgA&amp;sourceid=chrome&amp;ie=UTF-8">PL 2338/23</a>, a proposta mais avançada de regulação de IA que temos no Legislativo.
Na audiência pública realizada ao final de setembro no CNJ<a href="#_edn4" name="_ednref4">[4]</a>, juristas, especialistas convidados e participantes apresentaram uma miríade de posições sobre abordagens de uso, cuidados sobre contratação, potenciais e impactos da IA no judiciário. Acredito que alguns pontos parecem essenciais para o uso da inteligência artificial centralizada em direitos em uma área tão nevrálgica para a inovação responsável.
O primeiro ponto trata do papel da participação social ampla e multidisciplinar na análise de potenciais e impactos da IA nos Poderes Públicos. Parte dos convidados defendeu que a participação representativa (Cap. VIII) seja aperfeiçoada e ampliada, considerando o grande potencial de impacto.
A demanda é especialmente relevante se consideramos que os estudos sobre impactos algorítmicos têm demonstrado uma enorme dificuldade sobre responsabilização e transparência devido a assimetria de poder entre big techs, startups impulsionadas pelo capital financeiro e o resto da população. Assim, tanto para fins republicanos de controle social quanto para fins de qualidade epistêmica do desenvolvimento, reforço também o apelo por inclusão de mecanismos de participação social.
Parte da pesquisa crítica sobre a inteligência artificial generativa até rechaça o termo, preferindo alternativas como, no meu caso, “sistemas algorítmicos derivativos” por considerar que são sistemas desenvolvidos em grande medida sobre enormes bases de dados, extraídas de ambientes online, em sua maioria sem autorização ou consentimento de autores. Além disso, grande parte dos grandes players da área tem lançado sistemas sem os testes necessários para competir em um mercado caótico.
Quanto aos grandes modelos de linguagem, algumas notícias e títulos dos artigos podem dar uma noção sobre as questões em jogo desde que o atual boom da chamada IA generativa acelerou a competição entre o oligopólio das big techs.
Alguns exemplos: “Grandes modelos de linguagem propagam crenças racistas na medicina”, publicado na Nature<a href="#_edn5" name="_ednref5">[5]</a>; “Sistema da OpenAI discrimina currículos a partir de nomes”, investigação da Bloomberg<a href="#_edn6" name="_ednref6">[6]</a>; e um preferido meu: “Como uma pedra por dia e bote cola na sua pizza: como a AI da Google se descolou da realidade”<a href="#_edn7" name="_ednref7">[7]</a>, reportado por vários veículos.
Os impactos nocivos reais das práticas problemáticas socialmente, seja da chamada IA generativa, seja de outros tipos de implementações de aprendizado de máquina, estão disponíveis em muitos repositórios<a href="#_edn8" name="_ednref8">[8]</a>. São investigações feitas por pesquisadores, jornalistas e ativistas, já que as grandes empresas de tecnologia rechaçam ou até punem transparência.
A partir dos acúmulos sobre impactos algorítmicos, alguns juristas e ativistas tem aprofundado abordagens de justificação e de confiança zero para governança de inteligência artificial. Um segundo ponto então é que a participação social representativa gere também o direcionamento para postura ainda mais cuidadosa sobre o uso de IA, como por exemplo a abordagem de justificação.
Nesse panorama, explicabilidade é considerada insuficiente. A maioria das abordagens de explicabilidade oferece uma perspectiva limitada por ser intrínseca e descritiva, focada em métricas internas sem levar em conta fatores institucionais.
A justificação move a agulha para uma abordagem normativa sistêmica. Pasquale e Malgieri<a href="#_edn9" name="_ednref9">[9]</a>, por exemplo, entendem a abordagem de justificação como indo além de apenas transparência sobre a tecnologia e seus processos, mas de fato uma justificação sobre a legalidade, justiça, necessidade, precisão e legitimidade de certas decisões automatizadas antes de qualquer uso ou contratação quando se trata de alto risco ou grande escala.
Do ponto de vista da sociedade civil, podemos citar a proposta de “confiança zero”.  As organizações que defendem a postura<a href="#_edn10" name="_ednref10">[10]</a> consideram que os custos sociais da corporativa pela supremacia da IA ​​já estão se acumulando à medida que as empresas apressam sistemas inseguros para o mercado – como chatbots propensos a vomitar mentiras com confiança – integrando-os de forma imprudente em produtos e serviços essenciais.
As organizações defendem que em vez de confiar na boa vontade das empresas, encarregando as instituições estatais com recursos insuficientes ou os utilizadores afetados de provar e prevenir danos, ou de confiar em processos de auditoria pós-comercialização, as empresas devem provar que suas ofertas de IA não são danosas.
Um terceiro ponto de sugestão é a adição mais explícita de considerações sobre avaliação de discriminação indireta durante os processos de avaliação, auditoria e análise de impactos, como no Art. 7º e Art. 8º C. A Convenção Americana contra o Racismo, a Discriminação Racial e Formas Correlatas de Intolerância<a href="#_edn11" name="_ednref11">[11]</a> estabelece que os Estados devem “realizar pesquisas sobre a natureza, as causas e as manifestações do racismo, da discriminação racial e formas correlatas de intolerância; coletar, compilar e divulgar dados sobre a situação de grupos ou indivíduos que sejam vítimas do racismo, da discriminação racial e formas correlatas de intolerância”. A convenção, que já possui status de emenda constitucional, considera discriminação indireta:
Aquela que ocorre, em qualquer esfera da vida pública ou privada, quando um dispositivo, prática ou critério aparentemente neutro tem a capacidade de acarretar uma desvantagem particular para pessoas pertencentes a um grupo específico ou as coloca em desvantagem, a menos que esse dispositivo, prática ou critério tenha um objetivo ou justificativa razoável e legítima.
Mencionando o histórico de casos de impactos nocivos e a tendência de sistemas algorítmicos reforçar discriminação indireta, o relatório Discriminação racial e tecnologias digitais emergentes<a href="#_edn12" name="_ednref12">[12]</a> produzido pela então relatora especial da ONU Tendayi Achiume recomendou que “tornar avaliações de impactos em direitos humanos, igualdade racial e não-discriminação um pré-requisito para a adoção de sistemas baseados em tais tecnologias por autoridades públicas. Estas avaliações de impacto devem incorporar oportunidades significativas para codesign e co-implementação com representantes de grupos étnico-raciais marginalizados”.
Finalmente, considerando questões de segurança de dados e de soberania digital, parece que o que o ótimo caput do artigo art. 8º-E que define que os LLM “poderão ser utilizados individualmente pelos magistrados e pelos servidores do Poder Judiciário como ferramentas de auxílio em suas respectivas atividades, desde que o seu acesso seja habilitado, fornecido e monitorado pelos tribunais” vá além, em termos de segurança.
Hoje é plenamente possível que modelos de linguagem sejam rodados localmente, a partir de tecnologias abertas e seguras. Há muitos desenvolvedores no mundo todo que tem buscado propor abordagens que possam prescindir de presentear as big techs com todos nossos dados e poder de enviesar, epistemicamente, decisões e ideologias.
<hr />
<a href="#_ednref1" name="_edn1">[1]</a> Pesquisa recente lançada pelo Instituto IDEIA em parceria com o Brazil Forum UK 2024 demonstrou desconfiança dos brasileiros na I.A. Leia análise por Cynthia Picolo e Paula Guedes em  <a href="https://desinformante.com.br/brasileiros-regulacao-ia/">https://desinformante.com.br/brasileiros-regulacao-ia/</a>
<a href="#_ednref2" name="_edn2">[2]</a> Relatório disponível na página de Pesquisas Judiciárias do CNJ - <a href="https://www.cnj.jus.br/pesquisas-judiciarias/">https://www.cnj.jus.br/pesquisas-judiciarias/</a>
<a href="#_ednref3" name="_edn3">[3]</a> Minuta disponível em: <a href="https://www.cnj.jus.br/wp-content/uploads/2024/09/minuta-proposta-resolucao-332-cnj-rev.pdf">https://www.cnj.jus.br/wp-content/uploads/2024/09/minuta-proposta-resolucao-332-cnj-rev.pdf</a>
<a href="#_ednref4" name="_edn4">[4]</a> Audiência pública trata sobre riscos, mecanismos e custos associados ao uso de IA no Judiciário <a href="https://www.cnj.jus.br/audiencia-publica-trata-sobre-riscos-mecanismos-e-custos-associados-ao-uso-de-ia-no-judiciario/">https://www.cnj.jus.br/audiencia-publica-trata-sobre-riscos-mecanismos-e-custos-associados-ao-uso-de-ia-no-judiciario/</a>
<a href="#_ednref5" name="_edn5">[5]</a> Large language models propagate race-based medicine <a href="https://www.nature.com/articles/s41746-023-00939-z">https://www.nature.com/articles/s41746-023-00939-z</a>
<a href="#_ednref6" name="_edn6">[6]</a> OpenAI’s GPT Is a Recruiter’s Dream Tool. Tests Show There’s Racial Bias <a href="https://www.bloomberg.com/graphics/2024-openai-gpt-hiring-racial-discrimination">https://www.bloomberg.com/graphics/2024-openai-gpt-hiring-racial-discrimination</a>
<a href="#_ednref7" name="_edn7">[7]</a> Eat a rock a day, put glue on your pizza: how Google’s AI is losing touch with reality <a href="https://theconversation.com/eat-a-rock-a-day-put-glue-on-your-pizza-how-googles-ai-is-losing-touch-with-reality-230953">https://theconversation.com/eat-a-rock-a-day-put-glue-on-your-pizza-how-googles-ai-is-losing-touch-with-reality-230953</a>
<a href="#_ednref8" name="_edn8">[8]</a> Poderia citar, por exemplo, AI Intersections Database da Mozilla; Artificial Intelligence Database do coletivo Responsible AI Collaborative; AI Incidents Monitor da OCDE; e o que mantenho na plataforma Desvelar.
<a href="#_ednref9" name="_edn9">[9]</a> Licensing high-risk artificial intelligence: Toward ex ante justification for a disruptive technology <a href="https://www.sciencedirect.com/science/article/pii/S0267364923001097">https://www.sciencedirect.com/science/article/pii/S0267364923001097</a>
<a href="#_ednref10" name="_edn10">[10]</a> Zero Trust AI Governance - <a href="https://ainowinstitute.org/publication/zero-trust-ai-governance">https://ainowinstitute.org/publication/zero-trust-ai-governance</a>
<a href="#_ednref11" name="_edn11">[11]</a> Convenção Interamericana contra o Racismo passa a ser adotada no Brasil <a href="https://www12.senado.leg.br/radio/1/noticia/2022/01/11/convencao-interamericana-contra-o-racismo-passa-a-ser-adotada-no-brasil">https://www12.senado.leg.br/radio/1/noticia/2022/01/11/convencao-interamericana-contra-o-racismo-passa-a-ser-adotada-no-brasil</a>
<a href="#_ednref12" name="_edn12">[12]</a> Racial discrimination and emerging digital technologies : a human rights analysis <a href="https://digitallibrary.un.org/record/3879751?v=pdf">https://digitallibrary.un.org/record/3879751?v=pdf</a>

IA no Judiciário

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Grupo de Trabalho sobre Inteligência Artificial no Poder Judiciário tem revisado resolução do CNJ

IA no Judiciário: cuidados e transparência podem evoluir tecnologias para todos

Grupo de Trabalho sobre Inteligência Artificial no Poder Judiciário tem revisado resolução do CNJ