Julia Teixeira

O <a href="https://www.jota.info/tudo-sobre/jusbrasil">Jusbrasil</a> e o o Colégio de Presidentes das Seccionais das OABs lançaram a primeira plataforma pública e gratuita do país voltada à identificação de indícios de <a href="https://www.jota.info/tudo-sobre/prompt%20injection">prompt injection</a> em documentos jurídicos. A ferramenta foi desenvolvida para auxiliar advogados, magistrados e demais operadores do Direito a detectar instruções ocultas capazes de interferir no funcionamento de sistemas de inteligência artificial do Judiciário.
Disponível gratuitamente na internet, a plataforma permite que os usuários submetam documentos para análise em busca de elementos potencialmente maliciosos. Na prática, a ferramenta funciona como uma etapa preventiva, possibilitando a verificação do conteúdo antes do protocolo ou compartilhamento do arquivo. <a href="https://ia.jusbrasil.com.br/detector">Acesse o detector de prompt injection desenvolvido pelo JusBrasil em parceria com o Colégio de Presidentes da OAB</a>.
A tecnologia desenvolvida pelo Jusbrasil conta com sete camadas para análise de documentos em busca de indícios de instruções ocultas que possam influenciar a IA de tribunais, muitas vezes imperceptíveis na visualização padrão do arquivo. O resultado apresenta os trechos identificados, acompanhados de classificação e explicação.
<a href="https://conteudo.jota.info/marketing-lp-newsletter-ultimas-noticias?utm_source=jota&amp;utm_medium=lp&amp;utm_campaign=23-09-2024-jota-lp-eleicoes-2024-eleicoes-2024-none-audiencias-none&amp;utm_content=eleicoes-2024&amp;utm_term=none">Assine gratuitamente a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas do dia no seu email</a>
Para Rafael Lara, presidente da OAB Goiás e coordenador do Colégio de Presidentes das Seccionais da OAB, a Ordem tem o dever de se antecipar a esse problema. “Essa ferramenta nasce da constatação de uma necessidade real da advocacia e segue parâmetros de segurança e acessibilidade. É uma solução tecnicamente eficaz e segura, do ponto de vista da proteção de dados. Esse equilíbrio entre inovação e responsabilidade orienta o trabalho".
Já a presidente da OAB Bahia e coordenadora do Colégio de Presidentes das Seccionais da OAB, Daniela Borges, considera que ao participar do desenvolvimento desta iniciativa, a OAB reafirma seu compromisso com a defesa da ética, da segurança jurídica e da integridade dos documentos e procedimentos judiciais.
Além da detecção de possíveis ataques, a iniciativa busca ampliar a conscientização sobre os riscos relacionados ao uso de IA generativa no setor jurídico. A expectativa é que a ferramenta contribua para a adoção de boas práticas de segurança digital e para o uso mais confiável de sistemas automatizados em atividades jurídicas.
“Nós existimos para que os profissionais do Direito tenham uma ferramenta confiável de trabalho. Quando vimos que os documentos podiam carregar instruções ocultas que colocam em risco o ecossistema jurídico, entendemos que poderíamos contribuir. A plataforma é pública, gratuita para verificação, e nenhum documento submetido é usado para treinar nossos modelos”, afirma Luiz Paulo Pinho, cofundador do Jusbrasil.
<h2>Casos de prompt injection já detectados</h2>
O lançamento vem num momento de avanço do uso de <a href="https://www.jota.info/tudo-sobre/ia">IA no Judiciário</a> e de crescente preocupação com a segurança dessas ferramentas. O tema ganhou destaque após a descoberta de comandos ocultos inseridos em petições com o objetivo de influenciar a atuação de uma ferramenta de inteligência artificial utilizada no ambiente judicial.
<a href="https://www.jota.info/produtos/poder?utm_source=cta-site&amp;utm_medium=site&amp;utm_campaign=campanha_poder_q2&amp;utm_id=cta_texto_poder_q2_2023&amp;utm_term=cta_texto_poder&amp;utm_term=cta_texto_poder_meio_materias">Conheça o JOTA PRO Poder, plataforma de monitoramento que oferece transparência e previsibilidade para empresas</a>
O episódio levantou debates sobre os riscos do prompt injection, técnica que consiste na inserção de instruções maliciosas em documentos posteriormente processados por sistemas de IA. Embora a tentativa tenha sido identificada e bloqueada, o caso acendeu o alerta para a possibilidade de que petições e outros arquivos jurídicos sejam utilizados como vetores de ataque, comprometendo análises automatizadas e a integridade dos processos.
Em maio, o JOTA <a href="https://www.jota.info/trabalho/juiz-multa-em-r-84-mil-advogadas-por-prompt-injection-para-manipular-ia-usada-no-trt8">revelou o caso de duas advogadas multadas em R$ 84 mil pela 3ª Vara do Trabalho de Parauapebas (PA) após a identificação de um comando oculto inserido em uma petição para influenciar o comportamento do sistema Galileu, ferramenta de IA utilizada pela Justiça do Trabalho</a>. Segundo a decisão, o texto invisível orientava a inteligência artificial a produzir uma contestação superficial e a não impugnar documentos apresentados pela parte autora.
<a href="https://www.jota.info/justica/juiz-aplica-multa-a-autor-de-acao-por-advogado-tentar-manipular-ia-com-prompt-injection">Dias depois, a 1ª Vara Cível de Ibirité (MG) aplicou multa por litigância de má-fé ao autor de uma ação contra o banco BMG após a descoberta de um comando oculto em recurso judicial que instruía a IA a elaborar resumos favoráveis ao autor da ação e desfavoráveis ao banco réu</a>. A magistrada entendeu que a prática buscava manipular ferramentas de inteligência artificial eventualmente utilizadas na análise dos autos.
O tema também alcançou os tribunais superiores. <a href="https://www.jota.info/justica/escritorio-fez-prompt-injection-no-stj-ao-defender-hacker-que-falsificou-autos-em-tribunal">Também em maio, o presidente do Superior Tribunal de Justiça (STJ) determinou a abertura de investigação sobre o uso de prompt injection por um escritório de advocacia em petições encaminhadas à Corte</a>. Os comandos buscavam influenciar o STJ Logos, sistema de inteligência artificial generativa desenvolvido pelo tribunal. Durante auditoria interna, a banca identificou ao menos 41 documentos contendo instruções ocultas protocolados em diferentes órgãos do Judiciário. <a href="https://www.jota.info/justica/vice-presidente-da-oab-ms-suspende-registro-de-advogados-investigados-por-prompt-injection-no-stj">Neste mês, a vice-presidente da Ordem dos Advogados do Brasil do Mato Grosso do Sul (OAB-MS), Marta do Carmo Taques, suspendeu o registro dos advogados envolvidos</a>.
Em resposta ao avanço desses episódios, o Comitê Nacional de Inteligência Artificial do Judiciário, do Conselho Nacional de Justiça <a href="https://www.jota.info/tudo-sobre/cnj">(CNJ)</a>, aprovou uma manifestação técnica recomendando medidas de proteção contra prompt injection, incluindo filtros capazes de identificar textos invisíveis, comandos ocultos e outros elementos destinados a manipular ferramentas de IA.

stefan-heinemann-G5wOg4X8Ovs-unsplash

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Ferramenta foi criada para evitar tentativas de manipulação de sistemas de IA do Judiciário

OAB e Jusbrasil lançam plataforma gratuita que identifica prompt injection em petições

Ferramenta foi criada para evitar tentativas de manipulação de sistemas de IA do Judiciário