Alexandre Zavaglia Coelho

Um escritório de advocacia americano usou uma das soluções de inteligência artificial generativa para auxiliar na redação de uma petição em um processo de indenização contra uma companhia área. O problema é que a petição protocolada continha precedentes judiciais que não foram localizados pela empresa demandada, nem pelo magistrado do Distrito Sul de Nova York. Isso gerou algumas suspeitas sobre o uso de soluções de inteligência artificial na confecção daquela peça, após os devidos questionamentos sobre a veracidade das informações. A repercussão da inexistência das decisões foi ainda maior, pois o sistema americano tem como base os precedentes e casos já julgados.
Ao ser questionado pelo magistrado sobre as decisões juntadas, o advogado afirmou que foi ele quem pesquisou e redigiu o documento, mas que se utilizou do <a href="https://www.jota.info/tudo-sobre/ChatGPT">ChatGPT</a> para complementar seu trabalho. O fato gerou a instalação de um incidente pelo magistrado, e o advogado alegou, em sua declaração de 6 de junho deste ano, que não tinha conhecimento sobre a possibilidade desse tipo de solução “fabricar” conteúdo falso, especialmente de maneira que parecesse autêntico, lamentando profundamente o seu uso inadvertido para pesquisas jurídicas, dizendo que havia aprendido com o caso e que não era algo que faria novamente.[1]
Contudo, o magistrado não entendeu que as respostas foram suficientes, pois além de apresentarem pareceres judiciais inexistentes, “continuaram a defender as opiniões falsas depois de que ordens judiciais questionaram sua existência”, o que segundo ele configurou má-fé. Na sequência, em 26 de junho, apesar daquele juiz demonstrar que não haveria qualquer impedimento em utilizar IA para assistência nos casos, alegou que as regras éticas dos advogados impõem seu papel de controle para garantir a precisão de suas alegações e registros, o que motivou a sua decisão de multar o escritório em US$ 5.000.[2]
O escritório, por sua vez, alegou que iria cumprir a decisão sem recorrer, mas discordava respeitosamente da decisão de má-fé. “Continuamos a acreditar que, face ao que até o Tribunal reconheceu ser uma situação sem precedentes, cometemos um erro de boa fé ao não acreditar que uma ferramenta de tecnologia pudesse inventar casos do nada”[3], segundo o comunicado oficial. Em decisão separada, o juiz indeferiu o pedido de indenização, encerrando o processo. 
Esse é apenas um dos vários exemplos que temos assistido do fenômeno que tem sido chamado de “alucinação”. Contudo, esse caso tem um efeito emblemático, pois demonstra que o Judiciário reconheceu que a responsabilidade pelo resultado foi de quem usou a tecnologia, nesse caso o advogado, e não dos desenvolvedores ou da empresa fornecedora, como se supunha nas discussões clássicas de responsabilidade pelo uso de IA.
O lançamento das soluções de IA generativa geraram uma revolução em todo o mercado, com rápido avanço na sua utilização. Mas, na mesma velocidade em que passamos a explorar essas novas técnicas em nossas tarefas diárias, sejam pessoais ou no trabalho, também começamos a entender os vários riscos relacionados às questões de privacidade, compartilhamento de dados, propriedade intelectual e em relação à qualidade dos resultados, especialmente nos textos mais técnicos. 
Isso tem gerado discussões sobre sua regulação no mundo todo, e preocupações como a criação de diretrizes de governança e gestão de riscos.
Essas novas soluções realmente permitem a geração de conteúdos de forma impressionante, com a possibilidade de interação direta entre o usuário final e modelos avançados de inteligência artificial, por meio de uma interface de fácil utilização. 
Mas, diferentemente do que muitos imaginaram, não são exatamente fontes de pesquisa, mas modelos de linguagem em larga escala (large language models – LLMs), capazes de gerar “novas” imagens, áudios ou textos, sempre com base naquilo que já foi escrito ou pensado por alguém. Para tentar entender um pouco de seu funcionamento, vamos analisar o exemplo dos textos, que é a funcionalidade que mais utilizamos no ambiente jurídico. 
Primeiro, precisamos entender que a inteligência artificial atual é baseada em matemática e estatística (a partir de padrões de bases passadas/big data) para criar sistemas de probabilidade para aplicação em tarefas específicas (chamada de narrow AI). No caso da geração de textos baseados em LLMs, o propósito desses modelos, portanto, é “ler” milhares de documentos, entender as correlações entre as palavras e frases (com apoio da supervisão humana no treinamento e na avaliação das respostas), para produzir um sistema de tokens (como se fossem conjuntos de sílabas), com vetores e pesos, capaz de permitir a criação de “novas” palavras e frases que fazem sentido e tenham uma coerência lógica. Ou seja, boas estruturas de texto, mas não necessariamente com o conteúdo correto.[4]
Assim, o GPT da OpenAI é o modelo de linguagem (como o Llama da Meta ou o Bard do Google), e o ChatGPT a sua aplicação, que se baseia em bilhões de parâmetros, a partir de dados baixados da internet. Portanto, como sistemas que dependem de uma relevância estatística, e que foram treinados com textos abertos na internet, se entendermos a forma de funcionamento dessa tecnologia fica fácil concluir que: ao pedirmos para escrever um texto sobre o que fazer em Paris (com muita coisa sobre esse tema na internet), é bem possível que, além da boa construção da resposta, também traga um conteúdo com um significado adequado, ou bem próximo disso.
Por outro lado, se perguntarmos quem sou eu, por exemplo, muito provavelmente minha relevância estatística, mesmo com muitos textos, vídeos e aulas publicadas, será muito pequena em relação aos bilhões de parâmetros da internet, e a chance de trazer um texto coerente, mas errar o conteúdo/alucinar será praticamente certa.
No mesmo sentido, os livros de doutrina, em sua grande parte, não estão disponíveis de forma aberta na internet, e nem a jurisprudência organizada. Assim, não será possível usar o ChatGPT, na sua modalidade aberta, para construir textos com conteúdo jurídico mais avançado, com a garantia de precisão (sem alucinações), tanto pela questão da relevância estatística, como do acesso à essa informação qualificada. 
A qualidade do conteúdo certamente vai começar a melhorar, na medida em que pudermos utilizar esse modelo de linguagem em bases fechadas e com conteúdo organizado – como numa base de milhares de contratos de uma empresa. Aí sim, teremos um conteúdo confiável, e uma relevância estatística capaz de gerar um texto aderente. Ou seja, um LLM treinado em bilhões de parâmetros, utilizado em bases especializadas de escritórios de advocacia ou de departamentos jurídicos.[4]
Mas isso só está no começo, e as empresas de software estão lançando agora novas funcionalidade que possibilitam a utilização desses modelos em nossas bases, ou que permitam o seu uso em nossos editores de texto ou de apresentações. Mas, ainda são poucos os projetos com essa configuração, e nada é tão simples quanto parece.  Então, é preciso muito cuidado para utilizar esse tipo de solução para a produção de textos jurídicos. Dá para usar como base, mas não se pode confiar em seu conteúdo.
Seguindo esse cenário, um novo caso de “alucinação” agitou o cenário jurídico na última semana. 
O Corregedor Regional da Justiça Federal da 1ª Região, afirmou que chegou ao seu conhecimento o caso de uma sentença proferida por um magistrado federal daquela região, que utilizou o ChatGPT para apoiar a criação da minuta, que continha uma jurisprudência do STJ inexistente. O caso chegou ao corregedor após uma denúncia do advogado que atuava no processo e, segundo as notícias [6], o juiz do caso afirmou que a minuta da sentença havia sido feita por um servidor, e atribuiu o uso do ChatGPT a um “mero equívoco”, decorrente da “sobrecarga de trabalho que recai sobre os ombros dos juízes” do TRF1. 
Apesar desse caso ter motivado a publicação da Circular COGER 33/2023 por aquela Corregedoria[5], que “RECOMENDA que não sejam utilizadas para a pesquisa de precedentes jurisprudenciais ferramentas de IA generativa abertas e não-homologadas pelos órgãos de controle do Poder Judiciário”, o caso chegou a ser arquivado, mas foi reaberto pelo Conselho Nacional de Justiça (<a href="https://www.jota.info/tudo-sobre/CNJ">CNJ</a>), e está em fase de análise.[6] 
Esses são apenas alguns dos vários casos que virão, o que demonstra que é preciso criar diretrizes de governança e princípios éticos adequados a essa finalidade, como balizadores desse uso pelo Poder Judiciário.
A Resolução 332/2020 do CNJ[7], que dispõe sobre a ética, a transparência e a governança na produção e no uso de inteligência artificial no Poder Judiciário, é a principal diretriz até o momento. 
Contudo, com as diversas iniciativas do Judiciário e demais órgãos do Sistema de Justiça para uso de técnicas de inteligência artificial, inclusive para a geração de minutas ou para a sumarização de processo, como no caso do Edital de Chamamento Público 1/2023 do Supremo Tribunal Federal[8], é preciso atualizar alguns pontos dessa Resolução 332, como processo natural de adequação para os novos tipos de soluções e possibilidades, especialmente após o lançamento das soluções de IA Generativa. 
O Conselho Nacional do Ministério Público (<a href="https://www.jota.info/tudo-sobre/Cnmp">CNMP</a>) também tem se debruçado sobre o assunto, instituindo um Grupo de Trabalho sobre o uso de IA Generativa no MP[9], que apresentou no último dia 14 de novembro a sua primeira proposta de recomendação sobre o tema. Esse mesmo movimento tem acontecido no Tribunal de Contas da União (<a href="https://www.jota.info/tudo-sobre/TCU">TCU</a>) e na Advocacia-Geral da União (<a href="https://www.jota.info/tudo-sobre/AGU">AGU</a>).
No grupo de pesquisas sobre Regulação e Governança de IA do Centro de Pesquisas em Educação e Inovação (CEPI) da FGV Direito SP temos analisado, nos últimos anos, os vários modelos e frameworks dos programas de governança e gestão de riscos. Entre os temas principais de nossos projetos, publicamos recentemente um relatório sobre Comitês de Ética de IA nas organizações (AI Ethics Boards)[10], com uma pesquisa robusta com todos os principais ambientes criados para essa finalidade no mundo todo, o que nos permitiu desenvolver um mapa com todas as possibilidades e caminhos para a sua criação e desenvolvimento.
De tudo o que vimos ao longo da pesquisa, o mais interessante foi compreender como esses comitês têm publicado as suas decisões sobre os dilemas éticos relacionados, que servem como treinamento e diretrizes para toda a organização, no mesmo modelo como vem acontecendo no setor de compliance. Ou seja, avançando dos princípios éticos gerais, para orientações mais objetivas e alinhadas com a estratégia de cada ambiente. 
Muito diferente da ideia de burocratizar a análise e aprovação de projetos que se utilizam de técnicas de IA, as decisões geradas por um ambiente formado por stakeholders com diferentes visões e perfis, e a sua publicidade, tem destravado a inovação e criado um caminho mais seguro para o desenvolvimento de projetos.
A publicação de diretrizes éticas claras e objetivas sobre o uso de IA generativa nos escritórios de advocacia, departamentos jurídicos, assim como no Poder Público, vai permitir o uso adequado e consciente desses benefícios, a gestão dos riscos envolvidos, com responsabilidades compartilhadas e um olhar para todos os impactos nas pessoas e nas organizações, inclusive nas questões reputacionais.
No que diz respeito ao Judiciário, a definição dessas diretrizes pode garantir, por exemplo, que o seu uso se limite a (a) classificar informações, ou (b) gerar minutas de atos de mero expediente, ou mesmo (c) de decisões judiciais, desde que conforme as regras e diretrizes de cada magistrado (uso individualizado e supervisionado, e não geral), em casos mais objetivos e repetitivos (que possam ser identificados padrões) e que respeitem o ato privativo e a autonomia do magistrado de proferir as suas sentenças (um robô nunca poderá dar uma sentença no lugar do juiz).
Esses podem ser passos fundamentais para alcançar o equilíbrio entre a inovação e a necessidade de tramitação de milhares de processos judiciais, entre os direitos e garantias das partes e dos advogados, e os serviços jurisdicionais prestados pelos magistrados e servidores. O uso responsável da inteligência artificial (Responsible AI) vai proporcionar a transparência e os requisitos para a sustentabilidade dos projetos e das organizações, em um mundo em rápida transformação e de adoção acelerada dessas novas tecnologias.
<hr />
[1] Disponível em: <a href="https://www.businessinsider.com/chatgpt-generative-ai-law-firm-fined-fake-cases-citations-legal-2023-6#:~:text=A%20law%20firm%20was%20fined%20%245%2C000%20after%20a%20court%20found,cart%20during%20an%20Avianca%20flight">https://www.businessinsider.com/chatgpt-generative-ai-law-firm-fined-fake-cases-citations-legal-2023-6#:~:text=A%20law%20firm%20was%20fined%20%245%2C000%20after%20a%20court%20found,cart%20during%20an%20Avianca%20flight</a>.
[2] Disponível em: <a href="https://www.reuters.com/legal/new-york-lawyers-sanctioned-using-fake-chatgpt-cases-legal-brief-2023-06-22/">https://www.reuters.com/legal/new-york-lawyers-sanctioned-using-fake-chatgpt-cases-legal-brief-2023-06-22/</a>
[3] Disponível em: <a href="https://www.forbes.com/sites/mollybohannon/2023/06/22/judge-fines-two-lawyers-for-using-fake-cases-from-chatgpt/?sh=79903da516cf">https://www.forbes.com/sites/mollybohannon/2023/06/22/judge-fines-two-lawyers-for-using-fake-cases-from-chatgpt/?sh=79903da516cf</a>
[4] ZAVAGLIA COELHO, Alexandre. Tendências em tecnologia: o uso da Inteligência Artificial Generativa na área do Direito | 2023. THOMSON REUTERS. 
[5] Circular COGER 33/2023. Corregedoria Regional da Justiça Federal da 1ª Região. Ref.: Inteligência artificial generativa - Utilização não recomendada para pesquisa jurisprudencial - Deveres de cautela, de supervisão e de divulgação responsável dos dados do processo quanto ao uso de IA em decisões judiciais. Disponível em: <a href="https://portal.trf1.jus.br/dspace/handle/123/340971">https://portal.trf1.jus.br/dspace/handle/123/340971</a>
[6] Disponível em: <a href="https://www.jota.info/justica/juiz-do-trf1-que-usou-o-chatgpt-para-elaborar-decisao-sera-investigado-pelo-cnj-13112023">https://www.jota.info/justica/juiz-do-trf1-que-usou-o-chatgpt-para-elaborar-decisao-sera-investigado-pelo-cnj-13112023</a>
[7] Disponível em: <a href="https://atos.cnj.jus.br/atos/detalhar/3429">https://atos.cnj.jus.br/atos/detalhar/3429</a> 
[8] Disponível em: <a href="https://digital.stf.jus.br/publico/publicacao/301363">https://digital.stf.jus.br/publico/publicacao/301363</a>
[9] Disponível em: <a href="https://www.cnmp.mp.br/portal/todas-as-noticias/16862-grupo-de-trabalho-do-cnmp-e-instituido-com-a-finalidade-de-empreender-estudos-sobre-o-uso-de-inteligencia-artificial-generativa-no-ministerio-publico">https://www.cnmp.mp.br/portal/todas-as-noticias/16862-grupo-de-trabalho-do-cnmp-e-instituido-com-a-finalidade-de-empreender-estudos-sobre-o-uso-de-inteligencia-artificial-generativa-no-ministerio-publico</a>
[10] Disponível em <a href="https://bibliotecadigital.fgv.br/dspace/handle/10438/33736">https://bibliotecadigital.fgv.br/dspace/handle/10438/33736</a>

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Após escritório ser questionado por tribunal dos EUA sobre decisões inexistentes, CNJ vai analisar caso de 'alucinação'

IA generativa alucinando o ambiente jurídico

Após escritório ser questionado por tribunal dos EUA sobre decisões inexistentes, CNJ vai analisar caso de 'alucinação' em sentença do TRF1