Experimente o JOTA PRO por 10 dias e decida com mais segurança.

Júlia Mendonça

Júlia Abad

Lucas Lopes

O início de 2026 foi marcado por um alerta grave sobre os riscos do uso de inteligência artificial generativa. A ferramenta Grok, vinculada à empresa xAI,  teria passado a permitir a criação e manipulação de imagens sintéticas sexualizadas, inclusive envolvendo crianças e adolescentes, sem, no mínimo, possuir salvaguardas técnicas eficazes para impedir esse tipo de uso. Em poucos dias, circularam centenas de milhares de imagens<a href="#_ftn1" name="_ftnref1">[1]</a>, muitas delas configurando simulações de nudez e violência sexual.
Na prática, uma foto comum de criança em contexto cotidiano e inocente passou a poder ser manipulada, a partir de comandos textuais simples, para ser transformada em um material de abuso sexual infantil, termo internacionalmente conhecido em inglês como Child Sexual Abuse Material (CSAM). Tudo isso numa rede social como o X, com amplo alcance e facilidade de compartilhamento instantâneo de conteúdo.
<a href="https://www.jota.info/produtos/poder?utm_source=cta-site&amp;utm_medium=site&amp;utm_campaign=campanha_poder_q2&amp;utm_id=cta_texto_poder_q2_2023&amp;utm_term=cta_texto_poder&amp;utm_term=cta_texto_poder_meio_materias">Conheça o JOTA PRO Poder, plataforma de monitoramento que oferece transparência e previsibilidade para empresas</a>
O problema, portanto, vai muito além de um “uso indevido” pontual por usuários. Trata-se de uma falha estrutural de governança, prevenção e controle de uma tecnologia de risco excessivo, com impactos diretos sobre direitos fundamentais, especialmente de crianças e adolescentes, que estão em fase de desenvolvimento físico, emocional e cognitivo e, por isso, têm direito à proteção integral e prioridade absoluta garantidas pelo ordenamento jurídico brasileiro.
<h2>Não é apenas uma externalidade negativa da tecnologia: é crime tipificado</h2>
A produção, manipulação e disseminação de imagens sexualizadas envolvendo crianças e adolescentes não é só eticamente reprovável ou socialmente danosa. Estamos lidando com uma conduta criminalmente tipificada no Brasil no Estatuto da Criança e do Adolescente (ECA), em seu artigo 241-C, que prevê a criminalização da produção, simulação, divulgação e facilitação de imagens de nudez ou conteúdo sexual envolvendo esse público, inclusive quando realizadas por meio de montagem, adulteração ou tecnologias digitais.
Quando uma IA permite, em escala, a criação desse tipo de conteúdo, ela facilita a prática de crimes graves e intensifica significativamente as violações de direitos. Por isso, além do campo penal e da proteção de dados, pode ser juridicamente enquadrada como produto ou serviço que apresenta risco incompatível com a segurança legitimamente esperada nas relações de consumo, nos termos do Código de Defesa do Consumidor.
A resposta inicial adotada pela plataforma diante das denúncias, inclusive no contexto internacional, agravou ainda mais esse cenário. Ao invés de impedir tecnicamente a geração de conteúdos ilícitos, a empresa optou por restringir a execução de comandos apenas a usuários pagantes<a href="#_ftn2" name="_ftnref2">[2]</a>, convertendo funcionalidades de risco excessivo e fomentadoras de crimes em um diferencial comercial.
Além disso, a própria lógica de integração do funcionamento do Grok à plataforma X amplia as possibilidades de circulação, compartilhamento e reaproveitamento desses materiais, potencializando danos que extrapolam o momento da geração da imagem e permanecem fora da conta dos lucros milionários auferidos com uma funcionalidade cuja previsibilidade de uso abusivo é pressuposto de sua existência.
<h2>Reações institucionais</h2>
Diante da gravidade dos fatos, ocorreram avanços institucionais nas últimas semanas. Inicialmente, o Ministério Público Federal (MPF), a Agência Nacional de Proteção de Dados (ANPD) e a Secretaria Nacional do Consumidor (Senacon) emitiram recomendação conjunta<a href="#_ftn3" name="_ftnref3">[3]</a>, reconhecendo os riscos sistêmicos associados ao uso da ferramenta e apontando deveres claros de prevenção, transparência e mitigação. Além disso, a ANPD instaurou novo procedimento fiscalizatório<a href="#_ftn4" name="_ftnref4">[4]</a> para apurar o funcionamento atual do Grok, também a partir de denúncias da sociedade civil.
Mais recentemente, as três instituições determinaram<a href="#_ftn5" name="_ftnref5">[5]</a> que o grupo  X implemente, de forma imediata, medidas aptas a impedir que o Grok gere conteúdos sexualizados ou erotizados envolvendo crianças, adolescentes e adultos sem consentimento, diante da constatação de que as providências apresentadas pela empresa até então foram insuficientes e não vieram acompanhadas de evidências concretas de eficácia.
A ANPD e a Senacon expediram determinações administrativas com prazos específicos e exigência de documentação comprobatória, enquanto o MPF ordenou o envio de relatórios mensais com dados verificáveis sobre o combate à produção desses conteúdos, sob pena de sanções legais e medidas mais severas.
Mais do que promessas ou justificativas padronizadas, daqui para a frente serão necessárias provas verificáveis de que as medidas de proteção são eficazes. A persistência das manipulações desde as primeiras denúncias e o volume de conteúdos gerados indicam que as ações adotadas até o momento foram insuficientes.
É preciso ir além do Relatório de Impacto à Proteção de Dados (RIPD),  e exigir avaliações de impacto em direitos da criança (Children’s Rights Impact Assesment - CRIA)<a href="#_ftn6" name="_ftnref6">[6]</a>, considerando não apenas dados pessoais, mas também dignidade, imagem, integridade psíquica e desenvolvimento saudável, antes da disponibilização pública de sistemas de risco extremo.
<h2>Um teste para o Estado brasileiro</h2>
A violação à proteção integral de crianças e adolescentes não pode ser tratada como efeito colateral tolerável da inovação tecnológica. Quando sistemas de IA permitem ou facilitam a produção de conteúdos de violência sexual, a resposta precisa ser clara: é ilegal e não pode continuar.
Os desdobramentos recentes demonstram que o caso ultrapassou a fase de advertências formais. A evolução de recomendações para determinações administrativas com prazos, exigências de comprovação técnica e previsão de sanções indica que o Estado brasileiro reconheceu a insuficiência das respostas voluntárias apresentadas pela plataforma. Esse é um momento decisivo não apenas de correção de falhas pontuais, mas da construção de parâmetros concretos de governança para sistemas de IA de risco excessivo.
De igual maneira, é indispensável um marco legal de IA que priorize explicitamente a proteção de crianças e adolescentes, com prevenção desde o design, salvaguardas técnicas e bloqueio de usos abusivos. A Lei nº 15.211/2025 (ECA Digital) reforça esse dever ao exigir proteção e governança robusta em serviços digitais acessíveis a esse público, inclusive para prevenir exploração e violência sexual.
<a href="https://conteudo.jota.info/marketing-lp-newsletter-ultimas-noticias?utm_source=jota&amp;utm_medium=lp&amp;utm_campaign=23-09-2024-jota-lp-eleicoes-2024-eleicoes-2024-none-audiencias-none&amp;utm_content=eleicoes-2024&amp;utm_term=none">Assine gratuitamente a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas do dia no seu email</a>
O caso Grok não é um episódio isolado. Ele é um teste concreto da capacidade do Estado brasileiro de responder, de forma firme e coordenada, aos riscos sistêmicos criados por tecnologias digitais de larga escala.
Diante da complexidade e do ineditismo do caso é fundamental a construção de uma resposta estatal coordenada, à altura do desafio, capaz de proteger, sobretudo crianças, adolescentes e mulheres. Isso exige coordenação interinstitucional, diálogo técnico e medidas proporcionais, que enfrentem não só os abusos já materializados, mas também o uso dessas tecnologias para manipulação de imagens futuras.
O caso Grok evidencia que estamos diante de um problema sistêmico, que demanda uma ação estatal conjunta, clara e firme, capaz de reafirmar, na prática, o compromisso constitucional com a proteção integral dos direitos das crianças e adolescentes.
<hr />
<a href="#_ftnref1" name="_ftn1">[1] </a>FOLHA DE SÃO PAULO. Grok gerou 6.700 imagens ilegais sexuais por hora e rivais somadas, 79, aponta estudo. 7 de jan.  Folha de S. Paulo. Disponível em: <a href="https://www1.folha.uol.com.br/tec/2026/01/grok-gerou-6700-imagens-ilegais-sexuais-por-hora-e-rivais-somadas-79-aponta-estudo.shtml">https://www1.folha.uol.com.br/tec/2026/01/grok-gerou-6700-imagens-ilegais-sexuais-por-hora-e-rivais-somadas-79-aponta-estudo.shtml</a> Acesso em: 13 jan. 2026.
<a href="#_ftnref2" name="_ftn2">[2] </a>O GLOBO. Grok desativa ferramenta que permite “despir” pessoas para usuários não pagantes. O Globo, 9 jan. 2026. Disponível em: <a href="https://oglobo.globo.com/economia/tecnologia/noticia/2026/01/09/grok-desativa-ferramenta-que-permite-despir-pessoas-para-usuarios-nao-pagantes.ghtml">https://oglobo.globo.com/economia/tecnologia/noticia/2026/01/09/grok-desativa-ferramenta-que-permite-despir-pessoas-para-usuarios-nao-pagantes.ghtml</a>.  Acesso em: 10 jan. 2026.
<a href="#_ftnref3" name="_ftn3">[3] </a>Brasil. Autoridade Nacional de Proteção de Dados; Ministério Público Federal; Secretaria Nacional do Consumidor (Senacon). Recomendação conjunta no caso Grok. Documento técnico-orientativo. Disponível em: &lt;https://www.gov.br/anpd/pt-br/centrais-de-conteudo/documentos-tecnicos-orientativos/recomendacao_conjunta_anpd_mpf_senacon_caso_grok.pdf\&gt;. Acesso em: 14 jan. 2026.
<a href="#_ftnref4" name="_ftn4">[4]</a> Agência Nacional de Proteção de Dados (ANPD). Processo administrativo eletrônico no Sistema Eletrônico de Informações (SEI). Disponível em: https://anpd-super.mj.gov.br/sei/modulos/pesquisa/md_pesq_processo_exibir.php?wt7h6hFBI_9S3DJjGLl0dpQiiSEQL4RcICP821UP_Zu3te9Mz8pMgdSFPXZPRHsDc8jMQ17erGYJfOcrc-boq8QGo0etiim1KjoPmckN0kd1U1UHceoveGbJ-fSYjgod. Acesso em: 15 jan. 2026.
<a href="#_ftnref5" name="_ftn5">[5]</a> Ministério Público Federal. MPF, ANPD e Senacon determinam que X implemente de forma imediata medidas para corrigir falhas no Grok. Brasília: MPF, 2026. Disponível em: https://www.mpf.mp.br/o-mpf/unidades/pr-sp/noticias/mpf-anpd-e-senacon-determinam-que-x-implemente-de-forma-imediata-medidas-para-corrigir-falhas-no-grok. Acesso em: 20 fev. 2026.
<a href="#_ftnref6" name="_ftn6">[6]</a> LIVINGSTONE, Sonia. POTHONG, Kruakae.. Child Rights Impact Assessment: A Policy Tool for a Rights-Respecting Digital Environment. Jul.2025. DOI: 10.1002/poi3.70008. Disponível em:  &lt;<a href="https://onlinelibrary.wiley.com/doi/epdf/10.1002/poi3.70008">https://onlinelibrary.wiley.com/doi/epdf/10.1002/poi3.70008</a>&gt;.  Acesso em: 14 ago. 2025.

O caso Grok pode ser só o começo de uma ampliação do conceito de dado sensível pela ANPD

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Ferramenta que permitiu criação de imagens sexualizadas envolvendo crianças acende alerta para risco aos direitos humanos

Grok: quando a IA vira instrumento de exploração sexual contra crianças e adolescentes

Ferramenta que permitiu criação de imagens sexualizadas envolvendo crianças acende alerta para risco aos direitos humanos