Júlia Mendonça

Júlia Abad

Lucas Lopes

O início de 2026 foi marcado por um alerta grave sobre os riscos do uso de inteligência artificial generativa. A ferramenta <a href="https://www.jota.info/tudo-sobre/Grok">Grok</a>, vinculada à empresa xAI,  teria passado a permitir a criação e manipulação de imagens sintéticas sexualizadas, inclusive envolvendo crianças e adolescentes, sem, no mínimo, possuir salvaguardas técnicas eficazes para impedir esse tipo de uso. Em poucos dias, circularam centenas de milhares de imagens, muitas delas configurando simulações de nudez e violência sexual.
Na prática, uma foto comum de criança em contexto cotidiano e inocente passou a poder ser manipulada, a partir de comandos textuais simples, para ser transformada em um material de abuso sexual infantil, termo internacionalmente conhecido em inglês como Child Sexual Abuse Material (CSAM). Tudo isso numa rede social como o X, com amplo alcance e facilidade de compartilhamento instantâneo de conteúdo.
<a href="https://www.jota.info/produtos/poder?utm_source=cta-site&amp;utm_medium=site&amp;utm_campaign=campanha_poder_q2&amp;utm_id=cta_texto_poder_q2_2023&amp;utm_term=cta_texto_poder&amp;utm_term=cta_texto_poder_meio_materias">Conheça o JOTA PRO Poder, plataforma de monitoramento que oferece transparência e previsibilidade para empresas</a>
O problema, portanto, vai muito além de um “uso indevido” pontual por usuários. Trata-se de uma falha estrutural de governança, prevenção e controle de uma tecnologia de risco excessivo, com impactos diretos sobre direitos fundamentais, especialmente de crianças e adolescentes, que estão em fase de desenvolvimento físico, emocional e cognitivo e, por isso, têm direito à proteção integral e prioridade absoluta garantidas pelo ordenamento jurídico brasileiro.
A produção, manipulação e disseminação de imagens sexualizadas envolvendo crianças e adolescentes não é só eticamente reprovável ou socialmente danosa. Estamos lidando com uma conduta criminalmente tipificada no Brasil no Estatuto da Criança e do Adolescente (ECA), em seu artigo 241-C, que prevê a criminalização da produção, simulação, divulgação e facilitação de imagens de nudez ou conteúdo sexual envolvendo esse público, inclusive quando realizadas por meio de montagem, adulteração ou tecnologias digitais.
Quando uma IA permite, em escala, a criação desse tipo de conteúdo, ela facilita a prática de crimes graves e intensifica significativamente as violações de direitos. Por isso, além do campo penal e da proteção de dados, pode ser juridicamente enquadrada como produto ou serviço que apresenta risco incompatível com a segurança legitimamente esperada nas relações de consumo, nos termos do Código de Defesa do Consumidor.
A resposta inicial adotada pela plataforma diante das denúncias, inclusive no contexto internacional, agravou ainda mais esse cenário. Ao invés de impedir tecnicamente a geração de conteúdos ilícitos, a empresa optou por restringir a execução de comandos apenas a usuários pagantes, convertendo funcionalidades de risco excessivo e fomentadoras de crimes em um diferencial comercial.
Além disso, a própria lógica de integração do funcionamento do Grok à plataforma X amplia as possibilidades de circulação, compartilhamento e reaproveitamento desses materiais, potencializando danos que extrapolam o momento da geração da imagem e permanecem fora da conta dos lucros milionários auferidos com uma funcionalidade cuja previsibilidade de uso abusivo é pressuposto de sua existência. 
 
Diante da gravidade dos fatos, ocorreram avanços institucionais nas últimas semanas. O Ministério Público Federal (MPF), a Agência Nacional de Proteção de Dados (ANPD) e a Secretaria Nacional do Consumidor (Senacon) emitiram recomendação conjunta, reconhecendo os riscos sistêmicos associados ao uso da ferramenta e apontando deveres claros de prevenção, transparência e mitigação.
Além disso, a ANPD instaurou novo procedimento fiscalizatório para apurar o funcionamento atual do Grok, também a partir de denúncias da sociedade civil.
Mais do que promessas ou justificativas padronizadas, daqui para a frente serão necessárias provas verificáveis de que as medidas de proteção são eficazes. A persistência das manipulações desde as primeiras denúncias e o volume de conteúdos gerados indicam que as ações adotadas até o momento foram insuficientes.
É preciso ir além do Relatório de Impacto à Proteção de Dados (RIPD),  e exigir avaliações de impacto em direitos da criança (Children’s Rights Impact Assesment - CRIA), considerando não apenas dados pessoais, mas também dignidade, imagem, integridade psíquica e desenvolvimento saudável, antes da disponibilização pública de sistemas de risco extremo.
A violação à proteção integral de crianças e adolescentes não pode ser tratada como efeito colateral tolerável da inovação tecnológica. Quando sistemas de IA permitem ou facilitam a produção de conteúdos de violência sexual, a resposta precisa ser clara: é ilegal e não pode continuar.
É indispensável um marco legal de IA que priorize explicitamente a proteção de crianças e adolescentes, com prevenção desde o design, salvaguardas técnicas e bloqueio de usos abusivos. A Lei 15.211/2025 (<a href="https://www.jota.info/tudo-sobre/ECA%20Digital">ECA Digital</a>) reforça esse dever ao exigir proteção e governança robusta em serviços digitais acessíveis a esse público, inclusive para prevenir exploração e violência sexual.
O caso Grok não é um episódio isolado. Ele é um teste concreto da capacidade do Estado brasileiro de responder, de forma firme e coordenada, aos riscos sistêmicos criados por tecnologias digitais de larga escala.
<a href="https://conteudo.jota.info/marketing-lp-newsletter-ultimas-noticias?utm_source=jota&amp;utm_medium=lp&amp;utm_campaign=23-09-2024-jota-lp-eleicoes-2024-eleicoes-2024-none-audiencias-none&amp;utm_content=eleicoes-2024&amp;utm_term=none">Assine gratuitamente a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas do dia no seu email</a>
Diante da complexidade e do ineditismo do caso é fundamental a construção de uma resposta estatal coordenada, à altura do desafio, capaz de proteger, sobretudo crianças, adolescentes e mulheres. Isso exige coordenação interinstitucional, diálogo técnico e medidas proporcionais, que enfrentem não só os abusos já materializados, mas também o uso dessas tecnologias para manipulação de imagens futuras.
O caso Grok evidencia que estamos diante de um problema sistêmico, que demanda uma ação estatal conjunta, clara e firme, capaz de reafirmar, na prática, o compromisso constitucional com a proteção integral dos direitos das crianças e adolescentes.

O caso Grok pode ser só o começo de uma ampliação do conceito de dado sensível pela ANPD

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Ferramenta que permitiu criação de imagens sexualizadas envolvendo crianças acende alerta para risco aos direitos humanos

Grok: quando a IA vira instrumento de exploração sexual contra crianças e adolescentes

Ferramenta que permitiu criação de imagens sexualizadas envolvendo crianças acende alerta para risco aos direitos humanos