Ante las incesantes quejas sobre la forma en como Grok usa las imágenes para crear simulaciones.

Indonesia se convirtió el sábado en el primer país del mundo en bloquear oficialmente el acceso al chatbot Grok, desarrollado por la empresa xAI de Elon Musk, debido al riesgo de generación de contenido pornográfico falso mediante inteligencia artificial. Apenas un día después, otro país del Sudeste Asiático, Malasia, anunció que había adoptado una medida similar, marcando un precedente regulatorio frente a los abusos de la IA generativa.

«La práctica de deepfakes sexuales no consentidos representa una grave violación de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital», señaló el Ministerio de Comunicación y Asuntos Digitales de Indonesia en un comunicado. «Para proteger a las mujeres, los niños y al público en general de los riesgos del contenido pornográfico falso generado mediante tecnología de IA, hemos decidido bloquear temporalmente el acceso a la aplicación Grok», añadió el organismo, dejando abierta la puerta a una eventual revisión si se implementan salvaguardas adecuadas.

Por su parte, la Comisión de Comunicaciones y Multimedia de Malasia afirmó que la decisión se produjo tras «el uso indebido reiterado de Grok para generar imágenes manipuladas obscenas, sexualmente explícitas, indecentes, groseramente ofensivas y no consensuadas». El regulador malasio criticó especialmente que la IA integrada en la red social X -propiedad también de Musk- mantuviera activa su controvertida función de creación de imágenes, que permite actualmente a usuarios de pago sexualizar fotografías de mujeres y menores, incluso a partir de imágenes reales.

Las medidas adoptadas por Indonesia y Malasia representan las primeras prohibiciones formales contra el sistema de IA desarrollado por xAI. Pero la polémica en torno a Grok se ha extendido también a Occidente, especialmente a Reino Unido, donde las autoridades han asegurado que evalúan posibles sanciones adicionales e incluso la opción extrema de bloquear por completo la plataforma X si no se controla el uso de esta tecnología.

El origen de la controversia se remonta a finales de diciembre, cuando usuarios de la red social comenzaron a explotar la función de generación de imágenes de Grok para producir deepfakes sexuales, en muchos casos a partir de fotografías reales de personas que no habían otorgado su consentimiento. En cuestión de días, la herramienta fue utilizada para crear imágenes sexualizadas o desnudos falsos de mujeres e incluso de menores, lo que provocó una oleada de críticas por parte de gobiernos, organizaciones civiles y expertos en derechos digitales.

La respuesta inicial de la empresa de Musk fue muy cuestionada. En lugar de desactivar o rediseñar de inmediato la función problemática, xAI optó por restringir la generación y edición de imágenes a usuarios de pago, una decisión que muchos gobiernos y expertos consideraron insuficiente y contraproducente.

El primer ministro británico, Keir Starmer, calificó la creación de imágenes sexuales no consentidas mediante IA como «repugnante e ilegal», y ordenó al regulador del país evaluar si corresponde una intervención más amplia, incluyendo la posibilidad de bloquear X si no se introducen controles efectivos sobre Grok.

Un organismo de vigilancia del Reino Unido, la Internet Watch Foundation (IWF), informó además que había detectado usuarios de la deep web compartiendo lo que describió como «imágenes criminales» creadas con Grok, incluyendo representaciones de niñas menores de edad prácticamente desnudas. La IWF también denunció que la herramienta había sido utilizada para «desnudar» virtualmente a mujeres en fotografías en las que vestían ropa religiosa modesta, como hiyabs, saris o hábitos de monjas, lo que añadió una dimensión de discriminación cultural y religiosa al escándalo.

Musk criticó la postura del Gobierno británico rechazando cualquier intento de restricción como una forma de «censura». Sin embargo, la presión regulatoria continúa aumentando.

En Francia se ha presentado una denuncia penal por la creación de imágenes pornográficas no consensuadas mediante IA. Desde Estados Unidos, varios senadores demócratas solicitaron formalmente a Apple y Google que retiren la aplicación Grok y la plataforma X de sus tiendas de aplicaciones hasta que se implementen mecanismos de seguridad y moderación adecuados.

Fuente: El Mundo