Ex-Ejecutivo de OpenAI: la Seguridad "Pasó a un Segundo Plano Frente a Productos Llamativos"

Por Jason Nelson

Jan Leike, ex jefe de las iniciativas de alineación y "súper alineación" de OpenAI, recurrió el viernes a Twitter (también conocido como X) para explicar su razonamiento para dejar al desarrollador de IA el martes. En el hilo de tweets, Leike señaló la falta de recursos y enfoque en la seguridad como razones de su decisión de renunciar al fabricante de ChatGPT.

El equipo de alineación o súper alineación de OpenAI es responsable de la seguridad y de crear modelos de IA más centrados en los humanos.

La partida de Leike marca el tercer miembro destacado del equipo de OpenAI en irse desde febrero. El martes, el cofundador de OpenAI y ex Científico Jefe Ilya Sutskever también anunció que dejaba la empresa.

"Dejar este trabajo ha sido una de las cosas más difíciles que he hecho", escribió Leike. "Porque necesitamos con urgencia descubrir cómo dirigir y controlar sistemas de IA mucho más inteligentes que nosotros".

Leike señaló que aunque pensaba que OpenAI sería el mejor lugar para investigar sobre inteligencia artificial, no siempre estaba de acuerdo con el liderazgo de la empresa.

"Construir máquinas más inteligentes que los humanos es un esfuerzo inherentemente peligroso", advirtió Leike. "Pero en los últimos años, la cultura de seguridad y los procesos han pasado a un segundo plano en comparación con los productos llamativos".

Al hablar sobre los peligros de la inteligencia artificial general o  artificial general intelligence (AGI), Leike enfatizó que OpenAI tiene una "enorme responsabilidad" en el desarrollo y la implementación segura de esta tecnología. Sin embargo, Leike también señaló que la empresa parece estar más centrada en lograr la AGI lo antes posible, en lugar de enfocarse en la seguridad y la ética. De acuerdo con Leike, el equipo de seguridad de OpenAI "ha estado navegando contra el viento" y ha tenido que luchar por obtener los recursos informáticos necesarios para realizar su trabajo de manera efectiva.

También conocida como Singularity, la inteligencia artificial general se refiere a un modelo de IA capaz de resolver problemas en diversas áreas como lo haría un humano, además de tener la capacidad de autoenseñarse y resolver problemas para los que el programa no fue entrenado.

El lunes, OpenAI reveló varias actualizaciones nuevas de su producto insignia de inteligencia artificial generativa, ChatGPT, incluyendo el modelo GPT-4o más rápido y más inteligente. Según Leike, su antiguo equipo en OpenAI está trabajando en varios proyectos relacionados con modelos de IA más inteligentes.

Antes de trabajar para OpenAI, Leike trabajó como investigador de alineación en Google DeepMind.

"Ha sido un viaje tan salvaje en los últimos ~3 años", escribió Leike. "Mi equipo lanzó el primer [Aprendizaje por Refuerzo a partir de Retroalimentación Humana] LLM con InstructGPT, publicó la primera supervisión escalable en LLMs, [y] fue pionero en la interpretabilidad automatizada y la generalización de débil a fuerte. Pronto saldrán más cosas emocionantes".

Según Leike, una conversación seria sobre las implicaciones de lograr la IA General (AGI) se ha hecho esperar mucho tiempo.

“Debemos priorizar y prepararnos para ellos lo mejor que podamos”, señaló Leike. “Solo entonces podemos asegurar que la AGI beneficie a toda la humanidad.”

Aunque Leike no mencionó ningún plan en la mira, animó a OpenAI a prepararse para cuando la AGI se convierta en una realidad.

Hay que “aprender a sentir la AGI”, dijo. “Actúa con la gravedad apropiada para lo que estás construyendo. Creo que puedes ‘lanzar’ el cambio cultural que se necesita.”

“Estoy contando contigo”, concluyó. “El mundo está contando contigo.”

Leike no respondió de inmediato a la solicitud de comentarios de Decrypt.

Editado por Andrew Hayward

Noticias recomendados