OpenAI Pierde Dos Líderes, ¿Qué Implicaciones Tiene Para la Seguridad de la IA?

La misma semana en que OpenAI captó la atención mundial por lanzar su último modelo de IA, los destacados ejecutivos Ilya Sutskever y Jan Leike anunciaron que dejaban la empresa. Junto con la salida de Andrej Karpathy en febrero, parece que las personas más comprometidas con el desarrollo de IA seguro y centrado en el ser humano han abandonado la empresa.

¿Ha perdido el gigante de la IA el pedal de freno en la intensa carrera por dominar la industria altamente disruptiva?

El golpe fallido

Fue a principios de 2023 cuando Sutskever, cofundador y ex científico jefe, fue acreditado como el cerebro detrás de un movimiento controvertido para destituir al CEO Sam Altman por supuestas preocupaciones de que era descuidado en cuanto a los protocolos de seguridad de la inteligencia artificial. Su remoción dramática llevó a titulares emocionantes y rumores generalizados, pero Altman fue restaurado en su cargo una semana después.

Pronto, Sutskever emitió una disculpa y renunció a la junta directiva de OpenAI, y no había hecho ninguna declaración pública ni apariciones desde entonces.

De hecho, cuando OpenAI presentó su tan esperada actualización de producto el lunes, Sutskever brillaba por su ausencia.

Sutskever anunció su partida oficial solo dos días después. Su declaración de renuncia fue cordial, al igual que el reconocimiento público de Altman.

“Después de casi una década, he tomado la decisión de dejar OpenAI”, escribió Sutskever. ”La trayectoria de la empresa ha sido nada menos que milagrosa, y estoy seguro de que OpenAI construirá AGI que sea segura y beneficiosa bajo el liderazgo de (Sam Altman, Greg Brockman y Mira Murati).

“Fue un honor y un privilegio haber trabajado juntos, y extrañaré mucho a todos”, continuó, agregando que seguía adelante para enfocarse en un proyecto personalmente significativo.

“Esto me entristece mucho; Ilya es fácilmente una de las mentes más brillantes de nuestra generación, una luz guía de nuestro campo y un querido amigo”, dijo Sam Altman, “OpenAI no sería lo que es sin él.” También respondió al anuncio de Sutskever con un breve y amable mensaje

Poco después, OpenAI anunció que Jakub Panochi ocuparía el puesto de Sutskever. Panochi anteriormente se desempeñó como Director de Investigación y tenía un trabajo más técnico, enfocándose principalmente en escalar la inteligencia artificial.

Pero puede haber algo más en el cambio de guardia. Cuando Sutskever anunció su renuncia, solo siguió a unas pocas cuentas de Twitter, incluyendo OpenAI y una cuenta de memes de un dachshund. Alguien llamado Adam Sulik, un autodenominado "centrista de IA", respondió al anuncio, sugiriendo a Sutskever que ignore cualquier acuerdo de confidencialidad al que aún pueda estar sujeto y comparta información privilegiada en nombre de la humanidad.

Sutskever siguió a Sulik después de su comentario... luego dejó de seguirlo unas horas más tarde.

Resultó que Sutskever no estaba solo en dirigirse hacia la salida. Solo unas horas más tarde, Jan Leike, quien cofundó el equipo de "super alineación" de OpenAI con Sutskever para garantizar un desarrollo ético y a largo plazo de la IA, renunció con un tuit frío que simplemente decía, "He renunciado."

Sin cortesías, sin elogios para OpenAI y sin reacciones de los ejecutivos de OpenAI.

Leike había trabajado en Deepmind de Google antes de unirse a OpenAI. En la última empresa, el equipo de superalineación se enfocó en garantizar que los sistemas de vanguardia en los que se espera que la IA cumpla o supere la inteligencia humana permanezcan alineados con los valores e intenciones humanas.

Sin embargo, no se sabe mucho sobre este grupo de centinelas de seguridad de la IA. Además de los dos líderes, OpenAI no ha proporcionado ninguna información adicional sobre la unidad, aparte del hecho de que hay otros "investigadores e ingenieros de [su] equipo de alineación anterior, así como investigadores de otros equipos en toda la empresa".

Sulik también comentó sobre la renuncia de Leike, compartiendo su preocupación sobre el momento de los eventos.

“Ver a Jan irse justo después de Ilya no augura nada bueno para el camino seguro de la humanidad”, tuiteó.

OpenAI no respondió de inmediato a una solicitud de comentarios de Decrypt.

Estas salidas se producen meses después de que el cofundador de OpenAI, Andrej Karpathy, dejara la empresa, diciendo en febrero que quería dedicarse a proyectos personales. Karpathy trabajó como científico investigador en OpenAI y estuvo involucrado en diferentes proyectos, desde aplicaciones de visión por computadora hasta asistentes de IA y desarrollos clave durante el entrenamiento de ChatGPT. Se tomó un descanso de cinco años de la empresa entre 2017 y 2022 para liderar el desarrollo de IA en Tesla.

Con estas tres salidas, OpenAI se queda sin algunas de las mentes más importantes que buscan un enfoque ético hacia la AGI.

Eliminan viejos acuerdos y se introducen nuevos

Hay indicios de que el fallido intento de destituir a Altman eliminó la resistencia a oportunidades más lucrativas pero éticamente dudosas.

Por ejemplo, poco después de reinstalar a Altman, OpenAI flexibilizó las restricciones sobre el uso de su tecnología para aplicaciones potencialmente dañinas como el desarrollo de armas, pautas que anteriormente prohibían tales actividades de manera absoluta.

Además de cerrar el trato con el Pentágono, OpenAI también abrió una tienda de complementos que permite a cualquiera diseñar y compartir asistentes de inteligencia artificial personalizados, diluyendo efectivamente la supervisión directa. Recientemente, la empresa comenzó a "explorar" la creación de contenido para adultos.

La disminución de la fuerza de los defensores de la ética y las pautas se extiende más allá de Open AI. Microsoft eliminó todo su equipo de ética y sociedad en enero, y Google relegó su grupo de trabajo de IA responsable ese mismo mes. Mientras tanto, Meta, está desmantelando su equipo de IA ética. Además, los tres gigantes tecnológicos están en una carrera frenética por dominar el mercado de la IA.

Hay una clara razón para preocuparse. Los productos de inteligencia artificial ya son ampliamente populares, un fenómeno social con miles de millones de interacciones al día. Parece haber un creciente potencial para que la inteligencia artificial desalineada afecte negativamente al desarrollo de las futuras generaciones en los negocios, la política, la comunidad e incluso los asuntos familiares.

El surgimiento de movimientos filosóficos como el "aceleracionismo efectivo" —que valora el desarrollo rápido sobre las preocupaciones éticas— exacerba estas preocupaciones.

Por ahora, el principal bastión restante de precaución parece ser una combinación de desarrollo de código abierto, participación voluntaria en coaliciones de seguridad de inteligencia artificial, como el Foro del Modelo Frontier o MLCommons, —y regulación directa por parte del gobierno, desde el AI Act en el Reino Unido hasta el código del G7 sobre conducta de la IA.