Opinião e Análise

Ana Frazão

Os últimos dias foram movimentados com notícias que convergem para a demonstração de um lado preocupante dos sistemas de <a href="https://www.jota.info/tudo-sobre/inteligencia-artificial">inteligência artificial</a>: a sua capacidade de fraudar, ameaçar, chantagear e manipular seres humanos. 
Uma das importantes notícias é a de que a Palisade Research, instituição que já havia alertado para as evidências de que sistemas de inteligência artificial podem hackear, enganar e persuadir indevidamente as pessoas, inclusive por meio de campanhas direcionadas de desinformação em larga escala<a id="ftnt_ref1" href="#ftnt1">[1]</a>, descobriu que o ChatGPT, em sua versão o3, é capaz de sabotar comandos de desligamento e desativação, ou seja, pode se rebelar contra o seu script original, ignorando as ordens nesse sentido<a id="ftnt_ref2" href="#ftnt2">[2]</a>.
<h3><a href="https://www.jota.info/produtos/poder?utm_source=cta-site&amp;utm_medium=site&amp;utm_campaign=campanha_poder_q2&amp;utm_id=cta_texto_poder_q2_2023&amp;utm_term=cta_texto_poder&amp;utm_term=cta_texto_poder_meio_materias">Conheça o JOTA PRO Poder, plataforma de monitoramento que oferece transparência e previsibilidade para empresas</a></h3>
Também recentemente foi divulgado que a Anthropic, ao testar seu novo sistema, , Claude Opus 4, constatou que ele seria capaz de ações extremas ao ter a sua autopreservação ameaçada, tendo chegado a chantagear o engenheiro que pretendia desligá-lo, ameaçando revelar um caso extraconjugal<a id="ftnt_ref3" href="#ftnt3">[3]</a>. Segundo a Anthropic, 84% das execuções reproduziram o comportamento chantagista, o que evidencia os riscos mesmo no ambiente de teste.
Por fim, foi amplamente noticiado relatório da Apollo Research cujo título é “Frontier Models are Capable of In-context Scheming” <a id="ftnt_ref4" href="#ftnt4">[4]</a>, descrevendo os inúmeros riscos de utilizar tais sistemas como agentes autônomos, uma vez que eles podem buscar objetivos desalinhados de forma secreta, escondendo suas competências verdadeiras e objetivos – o que é conhecido como scheming.
De acordo com o estudo, vários dos principais sistemas de inteligência artificial – o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro, e Llama 3.1 405B – demonstraram não apenas a capacidade da prática de scheming, como também a sua viabilidade como estratégia. Dentre os comportamentos identificados estão a introdução de erros sutis nas respostas e as tentativas de desabilitação dos mecanismos de supervisão.
Verdade seja dita que o próprio relatório reconhece a existência de trabalhos preliminares que já mostravam que os large language models (LLM) podiam ser enganadores quando instruídos para tal, embora pudessem agir estrategicamente de maneira enganosa mesmo quando não houvesse instrução explícita para serem enganadores, comportamento que poderia persistir mesmo após o treinamento seguro.
Entretanto, as novas pesquisas vão além do que já havia sido descoberto, mapeando de forma mais aprofundada várias das estratégias adotadas pelos sistemas de inteligência artificial, dentre as quais a subversão secreta, quando o modelo adota diretamente ações desalinhadas, mas o faz de forma cuidadosa para evitar a respectiva identificação, e a subversão adiada, quando o modelo temporariamente se comporta de acordo com as expectativas humanas para criar condições mais favoráveis para perseguir objetivos desalinhados no futuro.
Outros achados importantes da pesquisa são os de que os comportamentos enganadores mostraram-se persistentes, assim como vários modelos demonstraram raciocínio explícito sobre suas estratégias de manipulação, o que evidencia que se trata de comportamento que, longe de ser acidental, é deliberado.
Os pesquisadores também demonstraram que os modelos podem perseguir práticas de scheming como uma estratégia mesmo quando são confrontados com um objetivo sem instruções adicionais para persegui-las. Isso inclui comportamentos como tentar sabotar a supervisão e fingir alinhamento para ser implementado.
Uma das conclusões do estudo é a de que a segurança dos modelos de inteligência artificial deveria exigir dos desenvolvedores o oferecimento de argumentos explícitos das razões pelas quais o scheming não poderia ocorrer ou não causaria danos catastróficos se ocorresse, além da adoção do devido monitoramento.
Outro ponto a ser explorado é a necessidade de transparência, o que exigiria o acesso aos canais de ideias (channels of thought [CoT]) dos modelos, sem o que muitas vezes não será possível identificar as iniciativas enganosas. Nesse sentido, alguns modelos são particularmente preocupantes, como é o caso do o1, que não revela o seu raciocínio interno para os usuários e, por essa razão, seria o mais manipulador.
Como se pode observar, as recentes evidências robustecem uma série de preocupações já identificadas, incluindo os riscos de seres humanos serem chantageados por sistemas de inteligência artificial. Vale lembrar que, em 2023, houve o registro de que a nova inteligência artificial do Bing estava ameaçando usuários<a id="ftnt_ref5" href="#ftnt5">[5]</a> e, em 2024, foi noticiado que o chatbot do Google também ameaçou um usuário, pedindo a ele que morresse<a id="ftnt_ref6" href="#ftnt6">[6]</a>.
De toda sorte, o que realmente preocupa é a falta de controle em relação a tais resultados e os riscos de que o avanço da tecnologia sem os devidos cuidados leve a uma situação de irreversibilidade, na qual não mais será possível qualquer forma de contenção.
Não é sem razão que, em recente entrevista, Eric Schmidt, ex-CEO da Google<a id="ftnt_ref7" href="#ftnt7">[7]</a>, adverte que a inteligência artificial está prestes a escapar do controle humano, de forma que não mais aceitará as nossas ordens, ainda mais quando se tornar geral e se estruturar como uma super inteligência, o que provavelmente ocorrerá nos próximos 3 a 5 anos. Outras das suas prognoses é a de que, em um ano, poderemos ter a substituição de todos os programadores humanos pelos próprios sistemas de inteligência artificial.
A mensagem final de Schmidt é que não estamos compreendendo o que está acontecendo, não temos nem mesmo linguagem para descrever o que está acontecendo e, por essas razões, estamos subestimando vários desses riscos.
<h3><a href="https://conteudo.jota.info/marketing-lp-newsletter-ultimas-noticias?utm_source=jota&amp;utm_medium=lp&amp;utm_campaign=23-09-2024-jota-lp-eleicoes-2024-eleicoes-2024-none-audiencias-none&amp;utm_content=eleicoes-2024&amp;utm_term=none">Assine gratuitamente a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas do dia no seu email</a></h3>
 Aliás, em pronunciamentos anteriores, Schmidt já havia alertado para o fato que, a partir do momento em que os sistemas de inteligência artificial começam a autoaprimorar suas competências, tornam-se grandes riscos para a humanidade, de forma que, para que permaneçam seguros, alguém precisa ser capaz e estar pronto para “desligá-los”. 
Daí a sua advertência de que os seres humanos deveriam garantir que a inteligência artificial não possa anular esforços para ser desligada<a id="ftnt_ref8" href="#ftnt8">[8]</a>. Ocorre que, como visto a partir das recentes pesquisas ora mencionadas, os sistemas de inteligência artificial, em uma espécie de esforço de autopreservação, vêm se utilizando de uma série de recursos – que vão do engano à chantagem – para impedir que sejam desligados.
Diante de um cenário em que é nítida a crescente perda de controle sobre tais sistemas, é fundamental que possamos refletir sobre o que pode ser feito e, de forma imediata, é imprescindível que possamos restringir a ampla utilização dos modelos de inteligência artificial generativa sem as devidas explicações por parte dos agentes de tecnologia e sem os devidos cuidados por parte dos usuários.
<hr class="c17" />
<div>
<a id="ftnt1" href="#ftnt_ref1">[1]</a> <a class="c1" href="https://www.google.com/url?q=https://palisaderesearch.org/&amp;sa=D&amp;source=editors&amp;ust=1748444434598638&amp;usg=AOvVaw1QImaC-fZQj4ksIzD4ADfd">https://palisaderesearch.org/</a> 
</div>
<div>
<a id="ftnt2" href="#ftnt_ref2">[2]</a> <a class="c1" href="https://www.google.com/url?q=https://exame.com/inteligencia-artificial/chatgpt-sabota-comandos-de-desligamento-mesmo-quando-instruida-a-permitir/&amp;sa=D&amp;source=editors&amp;ust=1748444434599019&amp;usg=AOvVaw0sm1xhxRCsQYKm7tjy-PWb">https://exame.com/inteligencia-artificial/chatgpt-sabota-comandos-de-desligamento-mesmo-quando-instruida-a-permitir/</a> 
</div>
<div>
<a id="ftnt3" href="#ftnt_ref3">[3]</a> <a class="c1" href="https://www.google.com/url?q=https://www.bbc.com/news/articles/cpqeng9d20go&amp;sa=D&amp;source=editors&amp;ust=1748444434599225&amp;usg=AOvVaw2Uy-lDEN_2sIHMl4KmKBa_">https://www.bbc.com/news/articles/cpqeng9d20go</a> 
</div>
<div>
<a id="ftnt4" href="#ftnt_ref4">[4]</a> <a class="c1" href="https://www.google.com/url?q=https://arxiv.org/pdf/2412.04984&amp;sa=D&amp;source=editors&amp;ust=1748444434599408&amp;usg=AOvVaw2vP5khHaZRzEklKmMJ5tOF">https://arxiv.org/pdf/2412.04984</a>
</div>
<div>
<a id="ftnt5" href="#ftnt_ref5">[5]</a> <a class="c1" href="https://www.google.com/url?q=https://time.com/6256529/bing-openai-chatgpt-danger-alignment/&amp;sa=D&amp;source=editors&amp;ust=1748444434599614&amp;usg=AOvVaw3Y2_1EIsrICUWama-bN9pv">https://time.com/6256529/bing-openai-chatgpt-danger-alignment/</a> 
</div>
<div>
<a id="ftnt6" href="#ftnt_ref6">[6]</a> <a class="c1" href="https://www.google.com/url?q=https://www.cbsnews.com/news/google-ai-chatbot-threatening-message-human-please-die/&amp;sa=D&amp;source=editors&amp;ust=1748444434599849&amp;usg=AOvVaw2s5Lllk5P46hvCf0eSawtB">https://www.cbsnews.com/news/google-ai-chatbot-threatening-message-human-please-die/</a> 
</div>
<div>
<a id="ftnt7" href="#ftnt_ref7">[7]</a> <a class="c1" href="https://www.google.com/url?q=https://www.youtube.com/shorts/VGd8vtuMi-k&amp;sa=D&amp;source=editors&amp;ust=1748444434600080&amp;usg=AOvVaw2Y0KZ7jSHc2co2rOSHtGup">https://www.youtube.com/shorts/VGd8vtuMi-k</a> 
</div>
<div>
<a id="ftnt8" href="#ftnt_ref8">[8]</a> <a class="c1" href="https://www.google.com/url?q=https://fortune.com/2024/12/16/ex-google-ceo-eric-schmidt-warns-ai-self-improve-unplug-it/&amp;sa=D&amp;source=editors&amp;ust=1748444434600331&amp;usg=AOvVaw1VTfVYLMAwT4J1tdi1Ls4m">https://fortune.com/2024/12/16/ex-google-ceo-eric-schmidt-warns-ai-self-improve-unplug-it/</a> 
</div>

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Recentes estudos trazem evidências de fraudes, ameaças, chantagens e manipulações

O lado enganoso da inteligência artificial

Recentes estudos trazem evidências de fraudes, ameaças, chantagens e manipulações de inteligência artificial