Opinião e Análise

Ana Frazão

No último dia 21 de junho, o <a href="https://www.jota.info/tudo-sobre/CNJ">Conselho Nacional de Justiça</a> (CNJ) julgou o Procedimento de Controle Administrativo 0000416-89.2023.2.00.0000, no qual se requeria a proibição, inclusive por meio de liminar, do uso do <a href="https://www.jota.info/tudo-sobre/chatgpt">ChatGPT</a> para a confecção de atos processuais por juízes brasileiros, notadamente para fins de proferir e/ou fundamentar as suas decisões no caso concreto.
O que se verificou da decisão foi um conjunto de preocupações legítimas que, entretanto, não levaram a nenhuma providência concreta, mesmo diante dos altos riscos envolvidos.
Com efeito, a própria decisão, ao lado de mencionar diversos riscos relacionados à utilização de <a href="https://www.jota.info/tudo-sobre/inteligencia-artificial?non-beta=1">inteligência artificial</a> no Poder Judiciário, reconhece não apenas as já documentadas falhas e limitações do ChatGPT, como também a necessidade de que a utilização da ferramenta seja feita mediante “análise criteriosa à luz de diversos princípios, éticos, jurídicos e constitucionais”, mencionado expressamente a fundamentalidade da participação humana “em todas as etapas do processo judicial”.
Entretanto, sob o argumento de que é necessário regulamentar a matéria e que já foi instituído, por meio da <a href="https://atos.cnj.jus.br/atos/detalhar/5368">Portaria CNJ 338/2023</a>, Grupo de Trabalho sobre Inteligência Artificial no Poder Judiciário, o CNJ julgou improcedentes os pedidos formulados na inicial.
Ao assim fazer, com a ressalva do devido respeito, o CNJ se omitiu de fazer o que lhe cabia em uma situação como essa, que era decidir, mesmo que cautelarmente, sobre assunto de tamanha relevância e que envolve riscos altíssimos para o Poder Judiciário. 
Aliás, o CNJ nem mesmo analisou as peculiaridades do ChatGPT e dos riscos a ele inerentes, uma vez que se baseou em alegações genéricas de risco, sem nem mesmo apreciar como o sistema funciona e o que se pode esperar dele à luz dos seus termos de uso e políticas de privacidade.
Tal cuidado seria imperioso pois os riscos da utilização do ChatGPT estão longe se ser desprezíveis e as preocupações vão muito além de equívocos e alucinações que poderiam ser contornadas por um juiz atento. Com efeito, os maiores riscos dizem respeito a questões que são insuscetíveis de controle pelos juízes e pelo Judiciário como um todo – impedindo por completo a necessária supervisão humana – tais como as ameaças à proteção dos dados pessoais ou dados confidenciais de agentes econômicos, especialmente em casos que tramitam no Poder Judiciário mediante sigilo.
Por outro lado, a omissão do CNJ é também preocupante pois não se está propriamente diante de um vácuo normativo. A <a href="https://atos.cnj.jus.br/atos/detalhar/3429">Resolução CNJ 332/2020</a> já dispõe sobre a utilização de IA no Poder Judiciário, tendo várias de suas normas flagrantemente violadas na hipótese de utilização do ChatGPT, como se observa a seguir:
<table style="width: 675px; height: 4686px;">
<tbody>
<tr style="height: 156px;">
<td style="width: 169.477px; height: 156px;">Obrigações para utilização da inteligência artificial pelo Poder Judiciário</td>
<td style="width: 166.477px; height: 156px;">Considerandos e artigos da Resolução CNJ 332/2020 sobre o tema</td>
<td style="width: 292.875px; height: 156px;">Contraste com os riscos decorrentes da utilização do ChatGPT</td>
</tr>
<tr style="height: 450px;">
<td style="width: 169.477px; height: 450px;">Respeito aos direitos fundamentais e atendimento dos preceitos éticos e jurídicos de transparência, previsibilidade, possibilidade de auditoria e garantia de imparcialidade e justiça substancial</td>
<td style="width: 166.477px; height: 450px;">O terceiro considerando é claro nesse sentido, assim como vários artigos, dentre os quais o art. 4º, exigem a compatibilidade da utilização com os direitos fundamentais.</td>
<td style="width: 292.875px; height: 450px;">Não se sabe como tais pressupostos poderão ser minimamente assegurados com o ChatGPT, diante da total falta de transparência do sistema, que não foi nem mesmo programado para as necessidades e as exigências do Poder Judiciário. Acresce que não há qualquer tipo de monitoramento ou auditoria.</td>
</tr>
<tr style="height: 429px;">
<td style="width: 169.477px; height: 429px;">Observância da igualdade, não discriminação, pluralidade, solidariedade e julgamento justo, com a viabilização de meios destinados a eliminar ou minimizar a opressão, a marginalização do ser humano e os erros de julgamento decorrentes de preconceitos</td>
<td style="width: 166.477px; height: 429px;">O quarto considerando é claro nesse sentido e o art. 7º destaca a necessidade de preservar a igualdade, a não discriminação, a pluralidade e a solidariedade, auxiliando no julgamento justo, com criação de condições que visem eliminar ou minimizar a opressão, a marginalização do ser humano e os erros de julgamento decorrentes de preconceitos.</td>
<td style="width: 292.875px; height: 429px;">Não se sabe como o ChatGPT pode minimamente assegurar tais preocupações, em razão dos mesmos fundamentos já expostos acima.</td>
</tr>
<tr style="height: 627px;">
<td style="width: 169.477px; height: 627px;">Qualidade da base de dados </td>
<td style="width: 166.477px; height: 627px;">O quinto considerando é claro nesse sentido, inclusive mencionando a necessidade de rastreamento e auditoria dos dados governamentais, ao passo que o art. 14 prevê que “o sistema deverá impedir que os dados recebidos sejam alterados antes de sua utilização nos treinamentos dos modelos, bem como seja mantida sua cópia (dataset) para cada versão de modelo desenvolvida”.</td>
<td style="width: 292.875px; height: 627px;">Aqui a incompatibilidade é flagrante pois não se tem nem mesmo conhecimento da base de dados utilizada pelo ChatGPT e muito menos se e como poderão ser atendidas as garantias previstas pela norma.
Na verdade, como o Judiciário é totalmente alheio à formação da base de dados e ao treinamento do sistema, não tem conhecimento nem controle de que dados são utilizados e como são utilizados.</td>
</tr>
<tr style="height: 564px;">
<td style="width: 169.477px; height: 564px;">Proteção de dados </td>
<td style="width: 166.477px; height: 564px;">O sexto considerando é claro nesse sentido e o art. 15 determina que “os dados utilizados no processo devem ser eficazmente protegidos contra os riscos de destruição, modificação, extravio ou acessos e transmissões não autorizados”. O sétimo considerando diz que “o uso da Inteligência Artificial deve respeitar a privacidade dos usuários, cabendo-lhes ciência e controle sobre o uso de dados pessoais” e o oitavo prevê que os dados coletados pela Inteligência Artificial devem ser utilizados de forma responsável para a proteção do usuário”. O art. 6º prevê que “quando o desenvolvimento e treinamento de modelos de Inteligência exigir a utilização de dados, as amostras devem ser representativas e observar as cautelas necessárias quanto aos dados pessoais sensíveis e ao segredo de justiça” </td>
<td style="width: 292.875px; height: 564px;">Mais uma vez, não se tem ideia como o ChatGPT pode atender minimamente a tais requisitos, até porque não se sabe que dados são utilizados nem como, assim como não se sabe em que medida poderá ser assegurada a necessária proteção. 
Mais grave ainda é o fato de o CNJ não ter sequer analisado os termos de uso e a política de privacidade da OpenAI.</td>
</tr>
<tr style="height: 675px;">
<td style="width: 169.477px; height: 675px;">Obrigações concretas de transparência </td>
<td style="width: 166.477px; height: 675px;">O art. 8º prevê uma série de obrigações de transparência em seus incisos, dentre as quais: 
I – divulgação responsável, considerando a sensibilidade própria dos dados judiciais; II – indicação dos objetivos e resultados pretendidos pelo uso do modelo de Inteligência Artificial; 
III – documentação dos riscos identificados e indicação dos instrumentos de segurança da informação e controle para seu enfrentamento; 
IV – possibilidade de identificação do motivo em caso de dano causado pela ferramenta de Inteligência Artificial;
V – apresentação dos mecanismos de auditoria e certificação de boas práticas; VI – fornecimento de explicação satisfatória e passível de auditoria por autoridade humana quanto a qualquer proposta de decisão apresentada pelo modelo de Inteligência Artificial, especialmente quando essa for de natureza judicial.</td>
<td style="width: 292.875px; height: 675px;">Nenhuma delas é atendida pelo ChatGPT, situação que não pode ser suprida pelo juiz.</td>
</tr>
<tr style="height: 240px;">
<td style="width: 169.477px; height: 240px;">Obrigações de governança e qualidade </td>
<td style="width: 166.477px; height: 240px;">O art. 9º determina que “qualquer modelo de Inteligência Artificial que venha a ser adotado pelos órgãos do Poder Judiciário deverá observar as regras de governança de dados aplicáveis aos seus próprios sistemas computacionais, as Resoluções e as Recomendações do Conselho Nacional de Justiça, a Lei no 13.709/2018, e o segredo de justiça.”</td>
<td style="width: 292.875px; height: 240px;">Não há qualquer governança de dados pelo Poder Judiciário e nem se sabe se e em que medida a governança de dados da OpenAI pode atender a tais parâmetros.</td>
</tr>
<tr style="height: 177px;">
<td style="width: 169.477px; height: 177px;">Obrigações de segurança </td>
<td style="width: 166.477px; height: 177px;">Os arts. 13 a 16 preveem uma série de obrigações para assegurar a qualidade, a acurácia e a integridade dos dados </td>
<td style="width: 292.875px; height: 177px;">Não se tem como saber se e em que medida tais obrigações podem ser atendidas pela OpenAI.</td>
</tr>
<tr style="height: 261px;">
<td style="width: 169.477px; height: 261px;">Dever de transparência perante o usuário </td>
<td style="width: 166.477px; height: 261px;">O art. 18 determina que “os usuários externos devem ser informados, em linguagem clara e precisa, quanto à utilização de sistema inteligente nos serviços que lhes forem prestados.”.</td>
<td style="width: 292.875px; height: 261px;">Ao se omitir de apreciar a questão, o CNJ possibilita que juízes utilizem o ChatGPT sem nem mesmo informarem aos jurisdicionados se o fizeram e em que medida.</td>
</tr>
<tr style="height: 324px;">
<td style="width: 169.477px; height: 324px;">Explicabilidade </td>
<td style="width: 166.477px; height: 324px;">De acordo com o art. 19, “os sistemas computacionais que utilizem modelos de Inteligência Artificial como ferramenta auxiliar para a elaboração de decisão judicial observarão, como critério preponderante para definir a técnica utilizada, a explicação dos passos que conduziram ao resultado”, ressalvando o parágrafo único que “Os sistemas computacionais com atuação indicada no caput deste artigo deverão permitir a supervisão do magistrado competente”.</td>
<td style="width: 292.875px; height: 324px;">Não há qualquer explicabilidade já que, para o magistrado, o ChatGPT é uma verdadeira “caixa preta”, de forma que ele tem acesso ao resultado sem fazer ideia do processo que levou ao resultado.</td>
</tr>
<tr style="height: 240px;">
<td style="width: 169.477px; height: 240px;">Restrições de utilização de IA em matérias penais</td>
<td style="width: 166.477px; height: 240px;">O art. 23 é expresso ao prever que “a utilização de modelos de Inteligência Artificial em matéria penal não deve ser estimulada, sobretudo com relação à sugestão de modelos de decisões preditivas.”</td>
<td style="width: 292.875px; height: 240px;">A omissão do CNJ pode permitir o entendimento de que, pelo menos até a regulamentação, juízes podem usar o ChatGPT mesmo em matérias penais.</td>
</tr>
<tr style="height: 324px;">
<td style="width: 169.477px; height: 324px;">Prestação de contas </td>
<td style="width: 166.477px; height: 324px;">Determina o art. 25 que “qualquer solução computacional do Poder Judiciário que utilizar modelos de Inteligência Artificial deverá assegurar total transparência na prestação de contas, com o fim de garantir o impacto positivo para os usuários finais e para a sociedade”</td>
<td style="width: 292.875px; height: 324px;">A omissão do CNJ possibilita que, pelo menos até a regulamentação da matéria, o ChatGPT possa ser usado sem qualquer prestação de contas por parte da OpenAI e do magistrado-usuário.</td>
</tr>
<tr style="height: 219px;">
<td style="width: 169.477px; height: 219px;">Responsabilização </td>
<td style="width: 166.477px; height: 219px;">O art. 26 exige que “o desenvolvimento ou a utilização de sistema inteligente em desconformidade aos princípios e regras estabelecidos nesta Resolução será objeto de apuração e, sendo o caso, punição dos responsáveis.”</td>
<td style="width: 292.875px; height: 219px;">A omissão do CNJ pode dificultar a responsabilização dos magistrados que estiverem utilizando indevidamente o ChatGPT.</td>
</tr>
</tbody>
</table>
Como se pode observar, o texto da Resolução CNJ 332/2020 já é suficiente para a conclusão no sentido da flagrante incompatibilidade da utilização do ChatGPT como auxiliar dos juízes na elaboração de decisões. Aliás, a situação deste é até mais grave do que a de outros sistemas de IA que pelo menos foram programados especificamente para o Poder Judiciário, com várias cautelas desde a formação da base de dados até o início da programação e treinamento.
Se mesmo para tais sistemas, a Resolução CNJ 332/2020 aponta uma série de exigências para a sua utilização, com maior rigor tais exigências deveriam ser exigidas de um sistema de IA ofertado ao público em geral, como é o caso do ChatGPT. É por essa razão que a decisão do CNJ acabou negando vigência à própria normatização já existente, com o agravante de que nem mesmo explicou por que razão a Resolução não deve ser aplicada ao ChatGPT pelo menos até a regulamentação específica da matéria.
Trata-se, portanto, de julgamento preocupante pois, diante de tantas dúvidas e riscos, o mais prudente seria vedar a utilização do ChatGPT ou pelo menos condicioná-la às devidas salvaguardas, dentre as quais as já previstas pela própria Resolução CNJ 332/2020.

chatgpt

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

CNJ não poderia ter se omitido de disciplinar, ainda que cautelarmente, uso da ferramenta na elaboração de atos decisórios

ChatGPT e sua utilização pelo Poder Judiciário

CNJ não poderia ter se omitido de disciplinar, ainda que cautelarmente, uso do ChatGPT na elaboração de atos decisórios