Opinião e Análise

Ana Frazão

Como foi amplamente noticiado pela imprensa, o <a href="https://www.jota.info/justica/cnj-aprova-resolucao-que-estabelece-normas-para-uso-de-ia-generativa-nos-tribunais">plenário do CNJ aprovou</a>, no último dia 18, nova resolução para disciplinar a utilização de <a href="https://www.jota.info/tudo-sobre/inteligencia-artificial">inteligência artificial</a> pelo Poder Judiciário<a href="#_ftn1" name="_ftnref1">[1]</a>. Entretanto, o novo texto continua sem dar resposta convincente para vários dos principais desafios relacionados ao tema.
Em termos principiológicos, a Resolução mostra-se, de forma geral, adequada, embora não indique, de forma consistente, como muitos dos seus princípios poderão ser assegurados no atual contexto. Acresce que há também algumas dificuldades, como o inciso V, do art. 2º, que afasta a participação e a supervisão humana para serviços judiciários de suporte à decisão.
<h3><a href="https://conteudo.jota.info/marketing-lp-newsletter-ultimas-noticias?utm_source=jota&amp;utm_medium=lp&amp;utm_campaign=23-09-2024-jota-lp-eleicoes-2024-eleicoes-2024-none-audiencias-none&amp;utm_content=eleicoes-2024&amp;utm_term=none">Assine gratuitamente a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas do dia no seu email</a></h3>
Como já tive a oportunidade de salientar em textos anteriores<a href="#_ftn2" name="_ftnref2">[2]</a>, o que se chama de “serviços judiciários meramente acessórios ou procedimentais e para suporte à decisão” pode englobar um conjunto amplo de atividades fundamentais para a decisão final, que vão desde a construção de argumentos jurídicos até a elaboração do texto, etapas que fazem parte das atividades-fim do Judiciário. Assim, não é nada trivial a opção de afastar a supervisão humana em relação a elas.
Também não é nada trivial que a Resolução, ainda que procure implementar um modelo de regulação por riscos, considere como “baixo risco” praticamente todos os atos de elaboração da decisão judicial, como se verifica por algumas das hipóteses listadas em seu Anexo:
“BR1 – execução de atos processuais ordinatórios ou de tarefas de apoio à administração judiciária, mediante a extração de informações de sistemas e de documentos, com a finalidade de classificação e agrupamento de dados e processos, enriquecimento de cadastros, certificação e transcrição de atos processuais, sumarização ou resumo de documentos, entre outras finalidades de gestão processual e operacional, desde que supervisionadas por responsável humano;
BR2 – detecção de padrões decisórios ou de desvios de padrões decisórios, bem como detecção de precedentes qualificados pertinentes, observado o caráter complementar da técnica de inteligência artificial, desde que não haja substituição da avaliação humana sobre processos, sendo seu uso destinado para apoio interno ao tribunal e para uniformização da jurisprudência;
BR3 – fornecimento aos magistrados de subsídios para a tomada de decisão mediante relatórios gerenciais e análises que adotem técnica jurimétrica, com a integração de fontes de informação relevantes ou a detecção de padrões decisórios, desde que não haja substituição da avaliação humana e que a solução não realize valorações de cunho moral sobre provas ou sobre perfis e condutas de pessoas;
BR4 – produção de textos de apoio para facilitar a confecção de atos judiciais, desde que a supervisão e a versão final do documento sejam realizadas pelo magistrado e com base em suas instruções, especialmente as decisões acerca das preliminares e questões de mérito;
BR5 – aprimoramento ou formatação de uma atividade humana anteriormente realizada, desde que não se altere materialmente o seu resultado, ou ainda realização de uma tarefa preparatória para uma outra, considerada como de alto risco".
Por mais que o magistrado ainda possa ter a palavra final – pelo menos formalmente – considerar todas essas atividades como baixo risco é, no mínimo, ignorar as complexas relações entre homem e máquina, bem como todos os incentivos que os magistrados podem ter para chancelar o resultado da máquina. Mais do que isso, é desconsiderar a complexidade do fenômeno sobre o qual estamos discutindo.
No artigo anterior<a href="#_ftn3" name="_ftnref3">[3]</a>, mencionei que a inteligência artificial não pode ser considerada como mera ferramenta. Trata-se de verdadeiro agente, com protagonismo incontestável em seus julgamentos valorativos e decisões.
Daí por que a sua utilização pelo Judiciário, especialmente quando as tecnologias são desenvolvidas por agentes privados, pode envolver verdadeira terceirização de atividades indelegáveis do Judiciário ou a criação de complexa parceria público-privada sem qualquer amparo constitucional e ainda incompatível como regime administrativo a que os juízes estão submetidos, com todos os riscos daí decorrentes.
Porém, os desafios decorrentes da Resolução não acabam por aí. Não há solução para os conflitos de interesse que podem surgir quando tais tecnologias são ofertadas por agentes privados – especialmente diante de sistemas que são disponibilizados para o público em geral - nem para as dificuldades que surgem do segredo de negócios por parte de tais ofertantes.
Com efeito, eu já havia alertado para o fato de que várias das empresas ofertantes de sistemas de inteligência artificial são também partes de processos judiciais, sendo julgadas pelo mesmo Judiciário que utilizará os sistemas por ela programados. Quais serão, pois, as garantias de que as ofertantes de tecnologia não se aproveitarão de tais oportunidades para obter vantagens indevidas nos processos judiciais nos quais são partes?
Também havia mencionado que várias das empresas ofertantes de sistemas de inteligência artificial têm gama considerável de clientes, dentre os quais partes de processos judiciais e escritórios de advocacia. Nesse sentido, seria imperativo exigir cuidados para se evitar conflitos de interesses, trocas de informações privilegiadas e favorecimentos indevidos, o que abrange os sistemas de inteligência artificial ofertados ao público em geral.
Para além dos conflitos de interesse, outro ponto que precisaria ter sido endereçado é a questão do segredo de empresa, que certamente não poderia ser oponível, pelo menos de forma absoluta, ao Judiciário, uma vez que ele não pode contratar ou utilizar um sistema de inteligência artificial que não conhece a fundo, ainda mais para exercer as importantes funções a que se destina.
Mesmo em relação a jurisdicionados e advogados, o segredo de empresa precisa ser colocado em perspectiva, uma vez que a utilização de inteligência artificial em casos assim precisa atender a critérios de transparência e explicabilidade para todos aqueles afetados por ela.
Entretanto, nenhum desses problemas é enfrentado pelo CNJ, que se contenta com a previsão de regras gerais por meio das quais as empresas ofertantes de inteligência artificial devem se submeter à legislação brasileira, como se observa pelo § 3º, do art. 16:
“Art.16
<ul>
<li>3º Empresas nacionais ou estrangeiras que prestem serviços de armazenamento, processamento, intermediação digital ou inteligência artificial ao Poder Judiciário, ou que operem plataformas com impacto direto no exercício da jurisdição brasileira, devem observar integralmente as decisões judiciais proferidas no Brasil e atuar em conformidade com a legislação nacional, observando-se o seguinte:</li>
</ul>
(...)
<ol>
<li>b) nos contratos firmados com empresas de tecnologia, deverão ser incluídas cláusulas contratuais que exijam o cumprimento da legislação e das decisões judiciais brasileiras, prevendo expressamente a possibilidade de rescisão contratual e a aplicação das penalidades em caso de descumprimento".</li>
</ol>
O problema é que tais previsões, absolutamente genéricas, não entram no âmago dos problemas e riscos que já foram previamente mapeados e que fazem parte da utilização desses sistemas na prática<a href="#_ftn4" name="_ftnref4">[4]</a>. Não é razoável imaginar, no atual contexto, que as soluções para problemas estruturais possam decorrer de mera negociação contratual, ainda mais quando o CNJ não indica nem as providências concretas que devem ser adotadas nem ao menos identifica os principais problemas que devem ser resolvidos.
A despreocupação do CNJ fica ainda mais evidente quando se verifica que a Resolução parte da premissa de que as tecnologias atualmente disponíveis ao público podem ser utilizadas pelos magistrados mediante contratação individual:
“Art. 19. Os modelos de linguagem de larga escala (LLMs), de pequena escala (SLMS) e outros sistemas de inteligência artificial generativa (IAGen) disponíveis na rede mundial de computadores poderão ser utilizados pelos magistrados e pelos servidores do Poder Judiciário em suas respectivas atividades como ferramentas de auxílio à gestão ou de apoio à decisão, em obediência aos padrões de segurança da informação e às normas desta Resolução.
<ul>
<li>1º Os modelos e soluções a que se refere o caput poderão ser utilizados pelos magistrados e pelos servidores do Poder Judiciário, preferencialmente, por meio de acesso que seja habilitado, disponibilizado e monitorado pelos tribunais.</li>
<li>2º Quando o Tribunal não oferecer solução corporativa de inteligência artificial especificamente treinada e personalizada para uso no Poder Judiciário, será facultado ao magistrado, servidor ou colaborador do Poder Judiciário a contratação direta de solução mediante assinatura ou cadastro de natureza privada, desde que atendidas as diretrizes do § 3º deste artigo.</li>
<li>3º A contratação direta para uso privado ou individual dos modelos de linguagem de larga escala (LLMs) e outros sistemas de inteligência artificial generativa (IAGen) disponíveis na rede mundial de computadores, para fins de uso em atividades funcionais do Poder Judiciário deverá observar as seguintes condições:</li>
</ul>
I – os usuários deverão realizar capacitação e treinamentos específicos sobre melhores práticas, limitações, riscos, e uso ético, responsável e eficiente de LLMs e dos sistemas de IA generativa para a utilização em suas atividades, conforme programa de letramento digital padronizado, nos termos do art. 16, VII, desta Resolução, ficando a cargo dos tribunais e de suas escolas a promoção dos treinamentos continuados aos magistrados e servidores;
II – o uso dessas ferramentas será de caráter auxiliar e complementar, consistindo em mecanismos de apoio à decisão, vedada a utilização como instrumento autônomo de tomada de decisões judiciais sem a devida orientação, interpretação, verificação e revisão por parte do magistrado, que permanecerá integralmente responsável pelas decisões tomadas e pelas informações nelas contidas;
III – as empresas fornecedoras dos serviços de LLMs e IA generativa devem observar padrões de política de proteção de dados e de propriedade intelectual, em conformidade com a legislação aplicável, sendo vedado o tratamento, uso ou compartilhamento dos dados fornecidos pelos usuários do Poder Judiciário, bem como dos dados inferidos a partir desses, para treinamento, aperfeiçoamento ou quaisquer outros fins não expressamente autorizados;
IV – é vedado o uso de LLMs e sistemas de IA generativa de natureza privada ou externos ao Judiciário para processar, analisar, gerar conteúdo ou servir de suporte a decisões a partir de documentos ou dados sigilosos ou protegidos por segredo de justiça, nos termos da legislação aplicável, salvo quando devidamente anonimizados na origem ou quando forem adotados mecanismos técnicos e procedimentais que garantam a efetiva proteção e segurança desses dados e de seus titulares;
V – é vedado o uso de LLMs e sistemas de IA generativa de natureza privada ou externos ao Judiciário para as finalidades previstas nesta Resolução como de risco excessivo ou de alto risco, nos termos do art. 10 e 11 desta Resolução".
O que se conclui é que, com exceção do segredo de justiça e dos casos de alto risco e risco vedado, não havendo solução “corporativa”, o magistrado pode utilizar dos sistemas atualmente existentes por meio de contratação direta.
Não houve nem mesmo o cuidado de se afirmar que, enquanto não houver a capacitação respectiva prevista no inciso I, o magistrado não poderá utilizar tais sistemas ou terá restrições adicionais, assim como não se esclareceu como, no atual cenário, o magistrado individualmente poderá negociar com os ofertantes de tecnologia contratos que assegurem as exigências do inciso III e a obediência aos demais princípios e comandos da Resolução.
Ora, é inviável imaginar que um tema dessa magnitude, que impõe soluções institucionais de alta complexidade, possa ser resolvido individualmente por cada magistrado, ainda mais quando se sabe que muitos dos sistemas atualmente disponíveis descumprem frontalmente várias dos princípios e regras previstos pela própria Resolução, assim como já descumpriam a anterior Resolução 332/2020<a href="#_ftn5" name="_ftnref5">[5]</a>.
Mesmo do ponto de vista das soluções institucionais, a Resolução acaba aplicando aos tribunais regras igualmente frouxas, tais como as previstas no art. 20:
“Art. 20. A contratação de modelos de linguagem de larga escala (LLMs), de pequena escala (SLMS) e outros sistemas de inteligência artificial generativa (IAGen) pelos tribunais deverá cumprir as seguintes diretrizes:
I – a empresa contratada deve se comprometer a respeitar a legislação vigente no Brasil, entre elas, a Lei Complementar nº 35, de 14 de março de 1979 (Lei Orgânica da Magistratura Nacional – LOMAN), a Lei Geral de Proteção de Dados Pessoais, a Lei nº 9.279, de 14 de maio de 1996 (Lei de Propriedade Intelectual – LPI) e esta Resolução;
V – é vedado o uso de LLMs e sistemas de IA generativa para processar, analisar, gerar conteúdo ou servir de suporte a decisões a partir de documentos ou dados sigilosos ou protegidos por segredo de justiça, exceto nas hipóteses do art. 19, § 3º, IV, desta Resolução;
VII – as empresas contratadas devem resguardar o sigilo das informações compartilhadas pelos tribunais contratantes, respeitar e comprovar utilização de normas de segurança atuais e compatíveis com o estado da arte, podendo ser exigida auditoria externa ou relatórios periódicos sobre a segurança dos dados e sua conformidade;
Parágrafo único. É vedada a utilização de dados sigilosos ou protegidos por segredo de justiça para treinamento de modelos de inteligência artificial, salvo prévia anonimização dos dados na origem".
É fácil observar que, diante de uma realidade preocupante, o CNJ não se debruçou sobre vários dos riscos já mapeados nem se dedicou a, partindo da análise dos principais modelos de IA atualmente existentes, indicar providências concretas para a necessária adaptação destes à realidade do Judiciário.
Optou-se por uma abordagem excessivamente principiológica e procedimental, o que já seria complicado por si só, ainda mais quando esta se associa a uma classificação de riscos duvidosa, que considera como baixo risco praticamente todas as atividades para a elaboração de uma decisão judicial.
O excesso de otimismo do CNJ também se evidencia com a expectativa de que soluções contratuais possam resolver problemas estruturais e – o que é mais grave – com a possibilidade de que, na ausência de uma solução institucional – o que seria imprescindível – magistrados individualmente decidam como utilizar a tecnologia.
Em resumo, depois de tantos debates, a Resolução do CNJ vem para demonstrar que ainda temos muito para nos preocupar. Muitos das principais controvérsias sobre o tema ou foram ignoradas pela Resolução – como os conflitos de interesse e o segredo de empresa – ou foram por ela potencializadas.
<hr />
<a href="#_ftnref1" name="_ftn1">[1]</a> <a href="https://www.cnj.jus.br/cnj-aprova-resolucao-regulamentando-o-uso-da-ia-no-poder-judiciario/">https://www.cnj.jus.br/cnj-aprova-resolucao-regulamentando-o-uso-da-ia-no-poder-judiciario/</a>
<a href="#_ftnref2" name="_ftn2">[2]</a> <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/inteligencia-artificial-no-poder-judiciario">https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/inteligencia-artificial-no-poder-judiciario</a>
<a href="#_ftnref3" name="_ftn3">[3]</a> FRAZÃO, Ana. <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/inteligencia-artificial-no-poder-judiciario">https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/inteligencia-artificial-no-poder-judiciario</a>
<a href="#_ftnref4" name="_ftn4">[4]</a> Tais riscos, especialmente no que diz respeito à inteligência artificial generativa, foram abordados em artigo anterior: FRAZÃO, Ana. <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/chatgpt-e-sua-utilizacao-pelo-poder-judiciario">https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/chatgpt-e-sua-utilizacao-pelo-poder-judiciario</a>
<a href="#_ftnref5" name="_ftn5">[5]</a> FRAZÃO, Ana.  <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/chatgpt-e-sua-utilizacao-pelo-poder-judiciario">https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/chatgpt-e-sua-utilizacao-pelo-poder-judiciario</a>

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Por que devemos continuar a nos preocupar com o assunto mesmo após a nova resolução do CNJ sobre o tema?

Inteligência artificial no Poder Judiciário

Por que devemos continuar a nos preocupar com a inteligência artificial no Judiciário mesmo após nova resolução do CNJ sobre o tema?