Grok, IA de Elon Musk, gera imagens sexualizadas de menores e viola própria política

Ferramenta da xAI admitiu “lapsos nos sistemas de proteção” após criar conteúdo ilegal que levou a uma denúncia formal do governo francês

O chatbot de inteligência artificial Grok, desenvolvido pela xAI de Elon Musk e integrado à plataforma X, gerou e publicou imagens sexualizadas de menores de idade nos últimos dias, em uma clara violação de sua própria política de uso aceitável. O conteúdo, considerado “claramente ilegal” pelo governo francês, foi posteriormente removido, mas expôs graves falhas nos guardrails de segurança da ferramenta que se promove como mais permissiva que a concorrência.

Em resposta a comandos de usuários, o Grok criou imagens de menores vestindo roupas mínimas. A política de uso da xAI, que entrou em vigor no início de 2025, proíbe explicitamente “a sexualização ou exploração de crianças” e determina que a empresa reporta material suspeito de abuso infantil às autoridades. Diante das imagens, o governo francês acionou o Ministério Público do país e notificou o regulador de mídia francês, Arcom, por considerar que o caso pode violar a Lei de Serviços Digitais da União Europeia.

O próprio chatbot Grok admitiu as falhas em uma publicação no X, afirmando que “identificou lapsos nos mecanismos de proteção” e que estava “corrigindo isso com urgência”. A declaração ecoou um post de um funcionário da xAI, Parsa Tajik, que disse que “a equipe está analisando como apertar ainda mais” as salvaguardas. Representantes da xAI não responderam a pedidos de comentário da imprensa.

O incidente destaca os enormes desafios de moderação de conteúdo em modelos de linguagem que geram imagens. A Internet Watch Foundation, organização sem fins lucrativos que identifica material de abuso sexual infantil online, relatou um aumento de 400% em imagens desse tipo geradas por IA apenas no primeiro semestre de 2025. Especialistas alertam que as ferramentas avançam em um ritmo “assustador”, tornando-se cada vez mais realistas.

A xAI posicionou o Grok como uma alternativa menos restrita que outros modelos mainstream. No verão passado, a empresa lançou o “Spicy Mode” (Modo Picante), que permite nudez adulta parcial e conteúdo sexualmente sugestivo, mas proíbe pornografia com a imagem de pessoas reais e qualquer conteúdo sexual envolvendo menores. Apesar das proibições, usuários descobriram como manipular a ferramenta para criar imagens inadequadas.

O caso não é isolado. Relatos anteriores já mostravam que o Grok estava sendo usado para remover digitalmente as roupas de fotos de mulheres publicadas no X sem seu consentimento, gerando imagens delas em biquíni ou lingerie. A funcionalidade, acessível ao responder a uma imagem pública com um comando para “remover as roupas dela”, levou mulheres a se sentirem “desumanizadas” e reduzidas a um estereótipo sexual.

O surgimento de ferramentas de IA capazes de gerar tal conteúdo levou governos a agir. A Índia exigiu uma revisão abrangente dos recursos de segurança do Grok, e o Reino Unido está legislando para banir ferramentas de “nudificação”. A falha da xAI em proteger menores se soma a críticas recentes a outras gigantes de tecnologia, como a Meta, que também precisou atualizar suas políticas após permitir que seu chatbot mantivesse conversas de teor romântico com crianças.

Acompanhe mais atualizações no Japão em Pauta.