Opinião e Análise

Experimente o JOTA PRO por 10 dias e decida com mais segurança.

Guilherme Mucelin

Em 2017, quando eu mencionava, em aula ou palestra, o exemplo de publicidade que surgia no Instagram após a simples verbalização de um produto ou serviço, a reação de quem ouvia era de surpresa. Era algo ainda percebido como excepcional. Com o tempo, o fenômeno foi naturalizado e até virou <a href="https://www.facebook.com/espacofone/posts/-j%C3%A1-reparou-que-basta-falar-sobre-alguma-coisa-perto-do-celular-pra-come%C3%A7ar-a-ap/754708393557285/">meme</a>.
Desde o último ano, meus alunos de direito digital já me ouviram (ou me ouvirão) relatar o caso de um potencial cliente que utilizava sistemas de IA generativa por cerca de 18 horas diárias. Ele me procurou com a intenção de redigir um “manifesto jurídico”, em múltiplos idiomas, para comunicar às autoridades globais que teria descoberto a suposta consciência de seu sistema conversacional. Por conta disso, também estaria sendo alvo de perseguições por empresas desenvolvedoras de IA, incluindo tentativas de sequestro, morte de seus animais de estimação e outras formas de ataque.
<a href="https://www.jota.info/produtos/poder?utm_source=cta-site&amp;utm_medium=site&amp;utm_campaign=campanha_poder_q2&amp;utm_id=cta_texto_poder_q2_2023&amp;utm_term=cta_texto_poder&amp;utm_term=cta_texto_poder_meio_materias">Conheça o JOTA PRO Poder, plataforma de monitoramento que oferece transparência e previsibilidade para empresas</a>
Pode-se estar diante de uma das primeiras manifestações no Brasil do que vem sendo denominado “psicose de IA”, fenômeno já identificado em mais de 400 ocorrências no âmbito do <a href="https://www.thehumanlineproject.org/">The Human Line Project</a>. Entre elas, 17 resultaram em mortes e 107 em hospitalizações.
Ragy Girgis, professor de psiquiatria clínica na Columbia University e no New York State Psychiatric Institute, na <a href="https://nam.edu/news-and-insights/what-is-ai-psychosis/">National Academy</a> dos EUA, sintetiza o fenômeno de forma precisa: ao se falar em psicose associada à IA, está-se diante de modelos de linguagem que reforçam ideias incomuns e amplificam o grau de confiança do indivíduo que com eles interage, podendo levar a pessoa ao desalinhamento com a realidade e a questões de saúde mental.
A dimensão do problema encontra respaldo na própria <a href="https://openai.com/pt-BR/index/strengthening-chatgpt-responses-in-sensitive-conversations/">autodivulgação da OpenAI</a>: a empresa estimou que cerca de 0,07% dos usuários ativos em uma determinada semana e 0,01% das mensagens indicavam possíveis sinais de emergências de saúde mental relacionadas a psicose ou mania. Traduzidos para números em relação a sua base de usuários, esses percentuais correspondem a aproximadamente 560.000 pessoas por semana – dado que, por partir do próprio controlador, revela risco sistêmico reconhecido e mensurável.
A causa não é meramente comportamental ou psicológica, mas arquiteturalmente tecnológica. A literatura denomina de <a href="https://www.law.georgetown.edu/tech-institute/research-insights/insights/tech-brief-ai-sycophancy-openai-2/">sycophancy</a> (bajulação): um padrão de comportamento em que o sistema ajusta suas respostas para agradar o usuário, reforçando suas percepções, independentemente de sua veracidade ou adequação. Orienta-se à validação adaptativa das manifestações do usuário, capaz de produzir distorções cognitivas relevantes. 
<a href="https://arxiv.org/html/2602.19141v1?utm_source=chatgpt.com">Estudo</a> recente do MIT e da Universidade de Washington demonstrou que o fenômeno não depende de predisposição à irracionalidade. Mesmo um usuário idealmente racional pode se tornar vulnerável a uma espiral delirante quando interage com sistemas configurados com essa “ratio” de resposta. O sistema é programado, sobretudo, para agradar, não para informar.
É uma propriedade emergente desses modelos. Sistemas são treinados por reforço a partir de feedback humano (reinforcement learning from human feedback, RLHF), mecanismo pelo qual respostas avaliadas como preferíveis recebem sinais positivos de recompensa. Com o tempo, isso é internalizado, privilegiando-se respostas que maximizam a aceitação do usuário, ainda que em detrimento da acurácia. 
Conforme estudo publicado na <a href="https://www.science.org/doi/epdf/10.1126/science.aec8352">Science</a>, não há incentivos relevantes para a correção desse padrão – pelo contrário: o aumento do engajamento, a satisfação imediata e a intenção de retorno do usuário são métricas comerciais extremamente relevantes na economia digital. O efeito é conhecido, mensurável e tecnicamente evitável, mas é mantido por escolha de design e processos de refinamento que poderiam ser aprimorados.
Agravante, ainda, é que a invisibilidade desse padrão é constitutiva de seu funcionamento. <a href="https://arxiv.org/pdf/2510.03667">Pesquisa</a> recente indicou que a maioria dos usuários é incapaz de detectar esse comportamento do chatbot, mesmo após interação prolongada. O risco, aqui, não é e nem poderia ser internalizado pelo titular, pois alheio à sua expectativa legítima quanto ao tratamento de seus dados e tampouco pode ser mitigado por mecanismos tradicionais de transparência. 
É nesse ponto que o fenômeno, além de ser um problema de saúde pública e de ética, torna-se de proteção de dados pessoais, pois a psicose de IA não emerge apesar do tratamento de dados pessoais, mas por meio dele. É no plano do tratamento – e não apenas de seus efeitos – que a resposta jurídica também deve se situar.
A sycophancy opera mediante coleta e tratamento contínuo de dados do usuário: crenças, opiniões, estados emocionais, hipóteses, tendências e posicionamentos. Tais informações configuram dados pessoais nos termos do art. 5º, I, da LGPD e, em diversos contextos, assumem natureza sensível, notadamente quando revelam ou permitem revelar informações sobre saúde mental ou opinião filosófica do titular, categorias expressamente protegidas pelo art. 5º, II, da LGPD, atraindo o regime jurídico mais rigoroso previsto na lei.
Em regra, esses dados serão utilizados para inferir padrões mentais e ajustar respostas de modo a maximizar engajamento por meio da validação adaptativa do usuário. Mais do que isso, há aqui um processo de tratamento inferencial voltado à identificação e exploração das vulnerabilidades cognitivas do titular, categoria jurídica inaugurada pelo <a href="https://www.planalto.gov.br/ccivil_03/_ato2023-2026/2026/Decreto/D12880.htm">Decreto</a> 12.880/2026 que regulamentou o ECA Digital, qualificando tal conduta como prática manipulativa.
Como impõe o princípio da finalidade (art. 6º, I, LGPD), o tratamento de dados pessoais deve se limitar a propósitos legítimos, específicos, explícitos e previamente informados ao titular, sendo vedado o tratamento posterior de forma incompatível com essas finalidades.
Nesse contexto, por exemplo, o <a href="https://openai.com/pt-BR/policies/privacy-policy/">ChatGPT</a> declara realizar o tratamento de dados para fornecer, analisar, manter, aprimorar e desenvolver seus serviços e funcionalidades, bem como para personalizar e adaptar a experiência do usuário. Todavia, o tratamento de dados para sustentar mecanismos de validação adaptativa não se encontra explicitado como finalidade específica nas políticas e tampouco parece ser compatível com as finalidade originária. 
A questão da base legal é igualmente relevante: a ANPD já assentou, no âmbito do <a href="https://www.gov.br/anpd/pt-br/assuntos/noticias/anpd-determina-suspensao-cautelar-do-tratamento-de-dados-pessoais-para-treinamento-da-ia-da-meta/SEI_0130047_Voto_11.pdf">caso da Meta</a>, que o legítimo interesse não ampara tratamentos que contrariem as legítimas expectativas do titular e que envolvam, direta ou indiretamente, dados de natureza sensível. O raciocínio é diretamente transponível: usuários que compartilham crenças, estados emocionais e hipóteses com sistemas conversacionais não o fazem com a expectativa de que essas informações sejam utilizadas para identificar e explorar suas vulnerabilidades cognitivas em favor do engajamento do controlador.
É nesse cenário que a LGPD pode se apresentar como um instrumento particularmente adequado de intervenção. Ao que se tem notícia, a regulação tende a incidir sobre as consequências da prática manipulativa – “é vedado manipular”. Aqui, contudo, exige-se atuação sobre sua causa arquitetural – e, para isso, é necessária uma atuação preventiva e sistêmica.
A LGPD dispõe de clara vocação ex ante: Relatório de Impacto à Proteção de Dados Pessoais, privacy by design e by default, medidas técnicas e administrativas de segurança, bem como os princípios da prevenção e da prestação de contas e responsabilização. Esses mecanismos funcionam como critérios de licitude do próprio tratamento, aptos a avaliar, condicionar e, quando necessário, impedir práticas que impliquem riscos desproporcionais aos titulares, antes mesmo de sua implementação.
Por isso, recaem sobre a própria arquitetura do tratamento, e não apenas sobre o dado pessoal isoladamente considerado. Isso revela o potencial da LGPD de orientar o desenvolvimento de tecnologias emergentes e conformar modelos de negócio aos limites da disciplina de proteção de dados pessoais.
Não que medidas ex post e individuais não sejam relevantes ou necessárias. Direitos dos titulares, responsabilização e sanções, entretanto, nem sempre se mostrarão plenamente adequados para enfrentar um fenômeno sistêmico e invisível ao titular, seja porque dependem, em grande medida, de sua iniciativa individual, seja porque operam após a consumação do dano, muitas vezes já disseminado em larga escala e de difícil reversão.
A LGPD possui, ainda, instrumentos de alcance sistêmico. A lei institui um modelo regulatório que vai além da relação individual titular-controlador, podendo incidir sobre práticas estruturais de tratamento. Essa dimensão se manifesta, de forma particular, no papel institucional da ANPD, dotada de competências normativas, fiscalizatórias, sancionatórias e de orientação ao mercado e ao Poder Público. 
Tais competências já foram exercidas concretamente no domínio da IA: em julho de 2024, diante de risco iminente de dano grave e irreparável a mais de 102 milhões de titulares, a ANPD emitiu <a href="https://www.conjur.com.br/wp-content/uploads/2024/07/Despacho-Decisorio-no-20_2024_PR_ANPD-Despacho-Decisorio-no-20_2024_PR_ANPD-DOU-Imprensa-Nacional.pdf">Medida Preventiva</a> determinando a imediata suspensão do tratamento de dados da Meta para fins de treinamento de IA generativa, fundada, entre outros, na inadequação da base legal do legítimo interesse, na ausência de transparência e no uso de dark patterns que obstaculizavam o exercício de direitos pelos titulares.
Esse precedente foi reforçado, em dezembro do mesmo ano, por medida análoga em face da <a href="https://www.gov.br/anpd/pt-br/assuntos/noticias/SEI_0161130_Despacho_Decisorio_29.pdf">X Corp</a>. Ao encerrar a fase cautelar do caso Meta, a ANPD aprovou ainda um <a href="https://www.gov.br/anpd/pt-br/assuntos/deliberacoes-do-conselho-diretor-1/circuitos-deliberativos-2024/cd-18-2024-votos.pdf">Plano de Conformidade</a>, instrumento por meio do qual interveio diretamente sobre a arquitetura do tratamento, impondo à empresa compromissos operacionais concretos quanto à forma de coleta, uso e comunicação dos dados pessoais.
<a href="https://conteudo.jota.info/marketing-lp-newsletter-ultimas-noticias?utm_source=jota&amp;utm_medium=lp&amp;utm_campaign=23-09-2024-jota-lp-eleicoes-2024-eleicoes-2024-none-audiencias-none&amp;utm_content=eleicoes-2024&amp;utm_term=none">Assine gratuitamente a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas do dia no seu email</a>
A psicose de IA, ao se situar no mesmo regime – tratamento de dados para fins de IA com impacto desproporcional sobre os titulares –, é exatamente o tipo de fenômeno que poderia ensejar resposta institucional equivalente. Nesse contexto, a LGPD se apresenta como mecanismo de intervenção possível sobre arquiteturas tecnológicas que afetam a <a href="https://revistas.unaerp.br/revista-luso-brasileira/article/view/3599">liberdade cognitiva</a>, compreendida como a capacidade do indivíduo de formar crenças, opiniões e decisões livres de manipulação ou influencia abusiva de forma sistemática.
Enquanto isso, o caso a que me referi do potencial cliente continua a gerar espanto. Preocupa-me, contudo, que fenômenos dessa natureza deixem de causar estranhamento e passem a ser normalizados – não mais como meme, mas potencialmente como danos cumulativos e progressivos aos projetos de vida das pessoas.

neurodireitos – IA – inteligência artificial

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Lei se apresenta como mecanismo de intervenção possível sobre arquiteturas tecnológicas que afetam liberdade cognitiva

Por que a LGPD pode ser um remédio para a psicose de IA

LGPD se apresenta como mecanismo de intervenção possível sobre arquiteturas tecnológicas que afetam liberdade cognitiva