OpenAI y Meta Revelan Que Sus Herramientas de IA Fueron Utilizadas Para Crear Desinformación Política

OpenAI y Meta revelaron esta semana detalles sobre campañas nefastas persistentes por actores vinculados a China, Israel, Rusia e Irán, que utilizaron sus respectivos servicios para difundir desinformación y perturbar la política en EE. UU. y otros países.

En su último informe trimestral de amenazas emitido el miércoles, Meta enfatizó que la inteligencia artificial generativa sigue siendo fácil de detectar en tales campañas.

"Hasta ahora, no hemos visto tácticas novedosas impulsadas por GenAI que impidan nuestra capacidad de interrumpir las redes adversarias detrás de ellas", dijo el gigante de las redes sociales.

Si bien las fotos generadas por IA se emplean ampliamente, Meta agregó que los deepfakes políticos, una importante amenaza global, según muchos expertos, no son comunes. "No hemos visto que los actores amenazantes utilicen medios generados por IA fotorrealistas de políticos como una tendencia más amplia en este momento", señala el informe.

Por su parte, OpenAI dijo que construyó defensas en sus modelos de IA, colaboró con socios para compartir inteligencia sobre amenazas y aprovechó su propia tecnología de IA para detectar y desarticular actividades maliciosas.

"Nuestros modelos están diseñados para imponer fricción a los actores de amenazas", informó la empresa. "Los hemos construido teniendo en cuenta la defensa".

Destacando que sus salvaguardas de contenido resultaron exitosas al negarse sus modelos a generar algunas de las solicitudes, OpenAI dijo que prohibió las cuentas asociadas con las campañas identificadas y ha compartido detalles relevantes con socios de la industria y las fuerzas del orden para facilitar investigaciones adicionales.

OpenAI describió las operaciones encubiertas de influencia como "intentos engañosos de manipular la opinión pública o influir en resultados políticos sin revelar la verdadera identidad o intenciones de los actores detrás de ellos". Sus últimas revelaciones se describen como parte de los esfuerzos de transparencia de OpenAI.

La empresa utilizó la información recopilada de estas campañas para profundizar, evaluando cuán impactantes fueron las operaciones de desinformación y clasificando sus técnicas para mejorar futuras contramedidas. En una escala del 1 al 6, siendo la puntuación más alta la que representa campañas que alcanzaron audiencias auténticas en múltiples plataformas, OpenAI dijo que ninguno de los actores identificados obtuvo una puntuación superior a 2.

Según OpenAI, al menos cinco campañas distintas utilizaron sus modelos para generar contenido de texto que luego se difundió en plataformas de redes sociales como Telegram, Twitter, Instagram, Facebook y foros en línea, así como en otros sitios web. Mientras tanto, Meta informó sobre contenido generado por IA junto con otros grupos que señaló de “comportamiento inauténtico coordinado”.

Aquí hay algunas de las campañas específicas señaladas por ambas empresas.

La amenaza rusa

Una campaña rusa llamada "Mala Gramática" reclutó los sistemas de OpenAI para generar comentarios en varios idiomas que se publicaron en Telegram, dirigidos a audiencias en Rusia, Ucrania, Estados Unidos, Moldavia y los Estados bálticos. Los comentarios abordaron temas como la invasión de Ucrania por parte de Rusia, política y eventos actuales.

“La red principalmente comentaba en publicaciones de un pequeño número de canales de Telegram”, según OpenAI. “El más mencionado fue el canal pro-Rusia @Slavyangrad, seguido por el canal en inglés @police_frequency y @SGTNewsNetwork.”

Otra operación rusa persistente llamada "Doppelganger" utilizó ChatGPT para generar artículos de sitios web, publicaciones en redes sociales y comentarios que mayoritariamente retrataban a Rusia de manera positiva mientras denigraban a Ucrania, Estados Unidos y la OTAN. Este contenido tenía como objetivo aumentar la participación y productividad en plataformas como 9GAG.

Doppelganger también intentó utilizar herramientas de OpenAI para crear imágenes artificiales con leyendas críticas hacia los gobiernos occidentales, pero la empresa afirmó que su sistema rechazó solicitudes que parecían ser propaganda de desinformación.

Meta también mencionó al grupo en su Informe de Amenazas Adversarias, centrado en su intento de infiltración en las plataformas de redes sociales de Meta a través de diversos temas. Según Meta, el desafío era que el grupo cambia sus tácticas con frecuencia, evolucionando con el tiempo.

Desinformación desde Israel

Una empresa privada israelí llamada STOIC lanzó una operación denominada "Zero Zeno" por OpenAI, que aprovechó sus modelos de IA para generar comentarios. Zero Zeno incorporó los comentarios en tácticas más amplias de desinformación dirigidas a Europa y América del Norte.

“Zero Zeno publicó textos cortos sobre temas específicos, especialmente el conflicto en Gaza, en Instagram y X. Estos textos fueron generados utilizando nuestros modelos”, reveló OpenAI. “Un conjunto adicional de cuentas en esas plataformas luego respondería con comentarios que también fueron generados por esta operación.”

“Investigaciones de código abierto en febrero describieron esta red criticando a la agencia de ayuda de las Naciones Unidas en Palestina”, según señaló el informe, enlazando a un informe más extenso.

La tecnología de OpenAI también fue utilizada por Zero Zeno para crear biografías falsas y contribuir a la participación falsa. OpenAI también reveló que la empresa israelí utilizó su tecnología para apuntar a la organización de sindicatos Histadrut en Israel y las elecciones indias.

Este grupo también fue señalado por Meta.

"Las cuentas de esta red se hicieron pasar por personas locales en los países a los que se dirigieron, incluyendo a estudiantes judíos, afroamericanos y 'ciudadanos preocupados'," dijo Meta. "Publicaron principalmente en inglés sobre la guerra entre Israel y Hamás, incluyendo llamados a la liberación de rehenes; elogios a las acciones militares de Israel; críticas al antisemitismo en los campus universitarios, a la Agencia de Obras Públicas y Socorro de las Naciones Unidas para los Refugiados de Palestina en el Cercano Oriente (UNRWA) y a musulmanes que afirmaban que 'el islam radical' es una amenaza para los valores liberales en Canadá.

Meta dijo que prohibió al grupo y emitió una carta de cese y desista a STOIC.

Esfuerzos de “Spamouflage” chinos

La campaña de “Spamouflage” de China hizo uso de los modelos de lenguaje de OpenAI para realizar tareas como depurar código y generar comentarios en varios idiomas para difundir narrativas bajo la apariencia de desarrollar software de productividad.

“Spamouflage publicó breves comentarios en X criticando a la disidente china Cai Xia [en] forma de un post inicial y una serie de respuestas,” dijo OpenAI. “Cada comentario en la ‘conversación’ fue generado artificialmente utilizando nuestros modelos, probablemente para crear la falsa impresión de que personas reales habían interactuado con el contenido de la operación.”

En el caso de las campañas anti-Ucrania, sin embargo, los comentarios y publicaciones generados a través de OpenAI en 9GAG parecen haber provocado reacciones extremadamente negativas y críticas por parte de los usuarios, quienes denunciaron la actividad como falsa e inauténtica.

Otra campaña de desinformación de IA con vínculos a China fue detectada por Meta. “Publicaron principalmente en inglés e hindi sobre noticias y eventos actuales, incluidas imágenes probablemente manipuladas por herramientas de edición de fotos o generadas por inteligencia artificial”.

Por ejemplo, los usuarios de la red publicaron comentarios negativos sobre el gobierno indio y abordaron temas similares como la comunidad sij, el movimiento Khalistan y el asesinato de Hardeep Singh Nijja.

Operación iraní

Se identificó una operación iraní de larga data conocida como la Unión Internacional de Medios Virtuales (IUVM) abusando de las capacidades de generación de texto de OpenAI para crear publicaciones e imágenes multilingües que respaldaban puntos de vista y narrativas pro-Irán, anti-EE. UU. y anti-Israel.

"Esta campaña tuvo como objetivo a audiencias globales y se centró en la generación de contenido en inglés y francés; utilizó nuestros modelos para generar y corregir artículos, titulares y etiquetas de sitios web", dijo OpenAI. El contenido sería posteriormente publicado y promocionado en sitios web pro-Irán y en redes sociales como parte de una campaña de desinformación más amplia.

Ni Meta ni OpenAI respondieron a una solicitud de comentarios por parte de Decrypt.

Editado por Ryan Ozawa y Andrew Hayward