ChatGPT no es Tan Bueno en Ciberseguridad: Informe Immunefi

ChatGPT de OpenAI se ha convertido rápidamente en un amigo para muchos programadores, pero para los investigadores de ciberseguridad, al parecer no es lo suficientemente confiable para detectar los bugs peligrosos que existen.

En un informe reciente de Immunefi, la empresa de seguridad web encontró que muchos investigadores de seguridad utilizan ChatGPT como parte de su flujo de trabajo diario. Según su encuesta, aproximadamente el 76% de los investigadores de sombrero blanco, aquellos que investigan sistemas y código en busca de debilidades para solucionar, utilizan regularmente ChatGPT, en comparación con poco más del 23% que no lo hacen.

Sin embargo, el informe indica que muchos investigadores consideran que ChatGPT deja mucho que desear en las áreas que importan. Sobre todas las demás preocupaciones, Immunefi encontró que aproximadamente el 64% de los encuestados afirmaron que ChatGPT proporcionaba una "precisión limitada" al identificar vulnerabilidades de seguridad, y aproximadamente el 61% dijo que carecía del conocimiento especializado para identificar exploits que los hackers pueden aprovechar.

Jonah Michaels, líder de comunicaciones en Immunefi, dijo a Decrypt que el informe muestra que los sombreros blancos siguen siendo "sorprendentemente optimistas" sobre el potencial de ChatGPT, especialmente con fines educativos, pero dijo que esta no era una opinión compartida por su empresa en su trabajo.

"Los sombreros blancos ven un uso más amplio para ello", dijo Michaels. "Nosotros vemos un uso más limitado, porque vemos que se utiliza para enviar informes de errores esencialmente basura".

Immunefi, que se especializa en programas de recompensas por errores en el espacio Web3, ha prohibido a los usuarios enviar informes de errores utilizando ChatGPT desde que se hizo público por primera vez. Un tweet publicado por la empresa incluía una captura de pantalla de un mensaje que preguntaba a ChatGPT por qué no usarlo para informes de errores, a lo que el chatbot respondió que sus resultados "pueden no ser precisos o relevantes".

Por esta razón, Michaels dijo que Immunefi prohíbe inmediatamente a los usuarios que envían informes de errores basados en ChatGPT. La razón, según él, es que a menudo parecen estar bien escritos y convincentes desde una "visión general", pero suelen estar llenos de fallos basados en funciones que simplemente no existen.

Desde su lanzamiento en noviembre pasado, ChatGPT ha sido perseguido por la precisión inconsistente de algunos de los contenidos que produce, desde falsas acusaciones de agresión sexual hasta citar precedentes legales que no existen en documentos judiciales.

OpenAI advierte contra confiar ciegamente en GPT debido a su propensión a proporcionar información engañosa o completamente inexacta, conocido como "alucinaciones". Un portavoz de OpenAI no respondió a la solicitud de comentarios de Decrypt para esta historia.

En el informe de Immunefi, la comunidad de sombreros blancos expresó la opinión de que los modelos de ChatGPT requerirán más entrenamiento para diagnosticar amenazas cibernéticas o realizar auditorías, ya que actualmente carece de ese conocimiento especializado. 

Micheals dijo que el chatbot sufre por no tener los conjuntos de datos adecuados en la actualidad, y por ahora los desarrolladores deberán confiar en código creado manualmente para estar seguros. Sin embargo, agregó que podría haber un día en el futuro en el que ChatGPT u otras herramientas de IA generativa similares puedan realizar estas tareas de manera más confiable. 

"¿Es posible que ChatGPT mejore y se entrene específicamente en repositorios de proyectos y mucho más en el mundo de la cadena de bloques? Creo que sí", dijo MAichaels a Decrypt. "Pero no creo que pueda recomendarlo ahora con lo altas que son las apuestas y lo nuevo que es el campo."