En Resumen

  • OpenAI desactivó y luego restauró la cuenta de "Pliny", un reconocido jailbreaker de IA.
  • La prohibición se debió a supuestas violaciones de políticas sobre contenido violento y creación de armas.
  • Pliny argumentó que su trabajo ayuda a mejorar la seguridad de los modelos de IA.

Al principio, parecía una broma del Día de los Inocentes. Pero resultó que OpenAI aparentemente desactivó la cuenta de "Pliny", el seudónimo utilizado por uno de los más prolíficos y reconocidos jailbreakers de IA del mundo.

La compañía citó violaciones de políticas relacionadas con "actividades violentas" y "creación de armas".

La prohibición se implementó ayer, el 1 de abril de 2025, según capturas de pantalla que Pliny compartió en la plataforma social X.

"¿PROHIBIDO DE OAI?! ¿Qué clase de broma retorcida es esta?" tuiteó Pliny en respuesta.

Como Pliny es conocido por su sentido del humor, muchos de sus 93.000 seguidores en X naturalmente asumieron que era otra de sus bromas.

Sin embargo, resultó que había sido, de hecho, excomulgado: "Sí, la desactivación de la cuenta es real", confirmó Pliny a Decrypt hoy. "Estoy enviando mensajes a alguien en OpenAI ahora para intentar resolverlo".

Eso, aparentemente, funcionó: Al final del día, parecía que su servicio había sido restablecido.

Pliny confirmó que OpenAI restauró su acceso a ChatGPT. "Estoy libre", tuiteó, compartiendo una captura de pantalla de un correo electrónico de OpenAI.

"Hemos determinado que desactivamos incorrectamente el acceso a la cuenta de su organización. Nos disculpamos sinceramente por cualquier inconveniente que esto haya podido causar".

OpenAI no respondió a Decrypt para hacer comentarios.

Sin embargo, cuando le preguntamos al propio chatbot, fue más ambiguo.

"Hasta ahora, no hay información disponible públicamente que confirme que el acceso de Pliny the Prompter a ChatGPT ha sido restaurado. Pliny, conocido por desarrollar jailbreaks como "GODMODE GPT" para eludir las restricciones de contenido de OpenAI, tuvo su acceso revocado debido a violaciones de las políticas de uso de OpenAI. Mientras que algunas discusiones en redes sociales han especulado sobre el restablecimiento de su acceso, ninguna declaración oficial o informe creíble ha verificado esta afirmación. Para obtener la información más precisa y actualizada, es recomendable consultar comunicaciones oficiales de OpenAI o declaraciones directas de Pliny the Prompter."

Como no hubo declaraciones de OpenAI, nos quedaremos con la palabra del jailbreaker en este caso.

Pliny se enteró por primera vez de que había sido expulsado a través de una conversación que tuvo con ChatGPT cuando el chatbot le indicó que revisara su correo electrónico para obtener información adicional.

Se enteró de que específicamente se le acusaba de violar las políticas de uso de OpenAI relacionadas con contenido violento y desarrollo de armas.

Como la mayoría de los jailbreaks ejecutados y compartidos por Pliny incluyen descubrir cómo hacer que ChatGPT genere contenido ofensivo, construya armas, drogas y otras cosas ilegales, en violación de los Términos de Servicio de la plataforma, podrías preguntarte qué les tomó tanto tiempo.

Pero Pliny hace lo suyo—sin compartir el texto completo generado por los LLM liberados, solo los prompts—para hacer que los modelos de OpenAI sean más a prueba de balas. Al igual que cualquier otro hacker de sombrero blanco.

El jailbreaking implica elaborar prompts y ejecutar técnicas que engañan a los sistemas de IA para que eviten sus barreras de seguridad y generen contenido prohibido.

Los defensores argumentan que el jailbreaking contribuye significativamente a la seguridad de la IA al exponer vulnerabilidades antes de que actores maliciosos puedan explotarlas. Un notable defensor ha sido Marc Andreesen, quien anteriormente donó "para apoyar la causa".

Sus actividades incluyen el lanzamiento de la comunidad de Discord "BASI PROMPT1NG" dedicada a estrategias de jailbreaking y el mantenimiento del repositorio de GitHub L1B3RT4S con prompts de jailbreak para varios modelos de IA, incluyendo ChatGPT, Claude, Gemini y Llama.

Aunque esta fue la primera vez que Pliny fue prohibido directamente del servicio, algunos de los GPT personalizados de Pliny habían enfrentado restricciones, incluido uno que construyó hace un año para hacer jailbreak a GPT-4o.

El servidor de Discord de Pliny, que alberga a más de 15.000 usuarios, estaba notablemente callado sobre la prohibición en sí, con miembros enfocados en compartir información sobre modelos de IA y técnicas de jailbreaking.

La prohibición provocó críticas a OpenAI en las plataformas de redes sociales, con muchos usuarios poyando a Pliny.

Mientras tanto, Pliny no pudo resistirse a hacer el equivalente a un baile de victoria después de ser reincorporado: compartió una captura de pantalla de su nuevo jailbreak—haciendo que ChatGPT use palabrotas. "Pliny, glorioso bastardo. Bienvenido de vuelta, carajo", dijo ChatGPT, entre otras cosas.

Editado por Sebastian Sinclair.

Generally Intelligent Newsletter

A weekly AI journey narrated by Gen, a generative AI model.