X Restringe la Generación de Imágenes de Grok Tras Críticas Internacionales por Deepfakes Sexuales

Por Jason Nelson

X dijo que está restringiendo las funciones de generación y edición de imágenes vinculadas a Grok, limitando el acceso a usuarios de pago después de que el chatbot fuera utilizado para crear imágenes sexualizadas no consensuadas de personas reales, incluyendo menores.

En una actualización publicada por la cuenta de X Safety el miércoles, la empresa agregó restricciones técnicas para limitar cómo los usuarios pueden editar imágenes de personas reales a través de Grok.

La medida siguió a reportes de que la IA generó imágenes sexualizadas en respuesta a prompts simples, incluyendo solicitudes para colocar a personas en bikinis. En muchos casos, los usuarios etiquetaron a Grok directamente bajo fotos publicadas en X, provocando que la IA generara imágenes editadas que aparecían públicamente en los mismos hilos.

"Hemos implementado medidas tecnológicas para evitar que la cuenta de Grok permita la edición de imágenes de personas reales con ropa reveladora como bikinis", señaló la empresa, haciendo referencia a la tendencia viral de pedirle a Grok que pusiera a personas en bikinis.

La empresa también dijo que la creación de imágenes y la edición de imágenes a través de la cuenta de Grok en X ahora están disponibles solo para suscriptores de pago, un cambio que según dijo está destinado a mejorar la responsabilidad y prevenir el mal uso de las herramientas de imágenes de Grok que violan la ley o las políticas de X. La empresa también instituyó restricciones basadas en la ubicación.

"Ahora bloqueamos geográficamente la capacidad de todos los usuarios para generar imágenes de personas reales en bikinis, ropa interior y atuendos similares a través de la cuenta de Grok y en Grok en X en aquellas jurisdicciones donde es ilegal".

Sin embargo, a pesar de los cambios, Grok continúa permitiendo a los usuarios eliminar o alterar la ropa de fotos cargadas directamente a la IA, según las pruebas de Decrypt y reportes de usuarios después del anuncio.

En algunos casos, Grok reconoció "fallas en las salvaguardas" después de generar imágenes de niñas de entre 12 y 16 años con ropa mínima, una conducta prohibida bajo las propias políticas de la empresa. La disponibilidad continua de esas capacidades ha atraído el escrutinio de grupos de defensa.

"Si los reportes de que Grok creó imágenes sexualizadas—particularmente de niños—son ciertos, la ley de Texas puede haber sido violada", afirmó Adrian Shelley, director de Texas de Public Citizen, en un comunicado. "Las autoridades de Texas no tienen que buscar muy lejos para investigar estas acusaciones. X tiene su sede en el área de Austin, y el estado tiene una responsabilidad clara de determinar si sus leyes fueron violadas y, de ser así, qué sanciones son justificadas".

Public Citizen previamente solicitó al gobierno de Estados Unidos que retirara a Grok de su lista de modelos de IA aceptables debido a preocupaciones sobre el racismo exhibido por el chatbot.

Reacción global

Los responsables políticos globales también han incrementado el escrutinio sobre Grok, lo que ha llevado a varias investigaciones abiertas.

La Comisión Europea dijo que X y xAI podrían enfrentar acciones de cumplimiento bajo la Ley de Servicios Digitales si las salvaguardas en Grok seguían siendo inadecuadas. Al mismo tiempo, el Comisionado de eSafety de Australia señaló que las quejas relacionadas con Grok y las imágenes sexuales generadas por IA no consensuadas se han duplicado desde finales de 2025. El regulador agregó que las herramientas de imágenes de IA capaces de producir ediciones realistas complican el cumplimiento y la protección de las víctimas.

En el Reino Unido, los reguladores de Ofcom abrieron una investigación sobre X bajo la Ley de Seguridad en Línea derivada de que Grok fue utilizado para generar imágenes deepfake sexualizadas ilegales, incluyendo aquellas que involucran a menores. Los funcionarios dijeron que Ofcom podría finalmente buscar medidas respaldadas por tribunales que efectivamente bloqueen el servicio en el Reino Unido si se determina que X no cumple y no toma medidas correctivas.

Otros países, incluyendo Malasia, Indonesia y Corea del Sur, también han abierto investigaciones sobre Grok en un intento por proteger a los menores.

Mientras que los estados de América monitorean la situación, California es el primero en abrir una investigación sobre Grok. El miércoles, el Fiscal General de California, Rob Bonta, anunció una investigación sobre xAI y Grok por la creación y difusión de imágenes sexualmente explícitas no consensuadas de mujeres y niños.

"La avalancha de reportes que detallan el material sexualmente explícito no consensuado que xAI ha producido y publicado en línea en las últimas semanas es impactante. Este material, que representa a mujeres y niños en situaciones desnudos y sexualmente explícitas, ha sido utilizado para acosar a personas en internet", señaló Bonta en un comunicado.

La investigación examinará si el despliegue de Grok por parte de xAI violó las leyes estatales que rigen las imágenes íntimas no consensuadas y la explotación sexual infantil.

"Insto a xAI a tomar medidas inmediatas para garantizar que esto no vaya más lejos", agregó Bonta. "Tenemos tolerancia cero para la creación y difusión basada en IA de imágenes íntimas no consensuadas o de material de abuso sexual infantil".

A pesar de las investigaciones en curso, X dijo que adopta una postura de "tolerancia cero" para la explotación sexual infantil, la desnudez no consensuada y el contenido sexual no deseado.

"Tomamos medidas para eliminar contenido violatorio de alta prioridad, incluyendo Material de Abuso Sexual Infantil (CSAM) y desnudez no consensuada, tomando las medidas apropiadas contra las cuentas que violan nuestras Reglas de X", escribió la empresa. "También reportamos cuentas que buscan materiales de Explotación Sexual Infantil a las autoridades policiales según sea necesario".

Noticias recomendados