OpenAI Recluta Equipo de Ciberseguridad en IA Para Fortalecer a ChatGPT

Por Jason Nelson

Buscando fortalecer la seguridad de su popular chatbot de IA, OpenAI está recurriendo a expertos externos en ciberseguridad y penetración, también conocidos como "equipos rojos", para encontrar vulnerabilidades en la plataforma de IA.

La compañía dice que está buscando expertos en diversos campos, incluyendo ciencias cognitivas y de la computación, economía, salud y ciberseguridad. El objetivo, según OpenAI, es mejorar la seguridad y la ética de los modelos de IA.

La invitación abierta llega mientras la Comisión Federal de Comercio de Estados Unidos lanza una investigación sobre la recopilación de datos y las prácticas de seguridad de OpenAI, y los responsables de la formulación de políticas y las corporaciones se preguntan qué tan seguro es usar ChatGPT.

"[Está] solicitando voluntarios para participar y hacer cosas divertidas de seguridad", dijo Steven Walbroehl, cofundador y CISO de Halborn, a Decrypt. "Es una oportunidad de establecer contactos y una oportunidad de estar en la primera línea de la tecnología".

"A los hackers, sobre todo a los mejores, les gusta hackear la tecnología emergente más nueva", agregó Walbroehl.

Para mejorar la oferta, OpenAI dice que los miembros del equipo rojo serán compensados, y no se requiere experiencia previa en IA, solo la disposición de contribuir con perspectivas diversas.

"Anunciamos una convocatoria abierta para la Red de Evaluación Externa de OpenAI e invitamos a expertos en el campo interesados en mejorar la seguridad de los modelos de OpenAI a unirse a nuestros esfuerzos", escribió OpenAI. "Buscamos expertos de diversos campos para colaborar con nosotros en la evaluación rigurosa y la evaluación externa de nuestros modelos de IA".

Los equipos rojos se refieren a profesionales de ciberseguridad que son expertos en atacar, también conocido como pruebas de penetración o pen-testing, sistemas y exponer vulnerabilidades. En contraste, los equipos azules describen a profesionales de ciberseguridad que defienden los sistemas contra ataques.

"Más allá de unirse a la red, existen otras oportunidades de colaboración para contribuir a la seguridad de la IA", continuó OpenAI. "Por ejemplo, una opción es crear o realizar evaluaciones de seguridad en sistemas de IA y analizar los resultados".

Lanzado en 2015, OpenAI entró en el ojo público a finales del año pasado con el lanzamiento público de ChatGPT y el más avanzado GPT-4 en marzo, causando sensación en el mundo tecnológico e introduciendo la IA generativa en la corriente principal.

En julio, OpenAI se unió a Google, Microsoft y otros en el compromiso de desarrollar herramientas de IA seguras y confiables.

Si bien las herramientas de IA generativa como ChatGPT han revolucionado la forma en que las personas crean contenido y consumen información, los chatbots de IA no han estado exentos de controversia, recibiendo acusaciones de sesgo, racismo, mentiras (alucinaciones), y falta de transparencia en cuanto a cómo y dónde se almacenan los datos de los usuarios.

Las preocupaciones sobre la privacidad de los usuarios llevaron a varios países, incluyendo Italia, Rusia, China, Corea del Norte, Cuba, Irán y Siria, a implementar prohibiciones sobre el uso de ChatGPT dentro de sus fronteras. En respuesta, OpenAI actualizó ChatGPT para incluir una función de eliminar el historial de chat para aumentar la privacidad del usuario.

El programa Red Team es la última estrategia de OpenAI para atraer a profesionales de seguridad de alto nivel que ayuden a evaluar su tecnología. En junio, OpenAI se comprometió a destinar $1 millón para medidas de ciberseguridad e iniciativas que utilicen inteligencia artificial.

Aunque la compañía afirmó que los investigadores no tienen restricciones para publicar sus hallazgos o buscar otras oportunidades, OpenAI señaló que los miembros del programa deben ser conscientes de que la participación en pruebas de penetración y otros proyectos a menudo está sujeta a Acuerdos de No Divulgación (NDAs) o "debe mantenerse confidencial por un período indefinido".

"Alentamos la creatividad y la experimentación en la evaluación de los sistemas de IA", concluyó OpenAI. "Una vez completada, le invitamos a contribuir con su evaluación al repositorio de evaluaciones de código abierto para su uso por parte de la comunidad de IA en general".

OpenAI no respondió de inmediato a la solicitud de comentarios de Decrypt.

Noticias recomendados