ChatGPT Reemplazará las Auditorías de Criptomonedas? Aún No, Dicen Expertos

Todo el mundo está experimentando con ChatGPT, incluso las plataformas de intercambio de criptomonedas.

Coinbase recurrió recientemente a la inteligencia artificial para experimentar con que precisión ChatGPT podía llevar a cabo una revisión de seguridad de tokens, un requisito para todas las criptomonedas que cotizan en la bolsa.

Después de revisar 20 contratos inteligentes diferentes, la herramienta de IA megapopular produjo los mismos resultados que la revisión manual 12 veces.

Sin embargo, de los ocho fallos, cinco fueron casos en los que ChatGPT etiquetó incorrectamente un activo de alto riesgo como de bajo riesgo, que es el peor de los fallos.

El experimento también reveló que la IA a veces producía resultados incoherentes, ya que la misma consulta generaba resultados diferentes, especialmente al pasar de una iteración de ChatGPT a la siguiente.

Aún así, el equipo de Coinbase es optimista y cree que, con más ingeniería de prompts, pueden aumentar la precisión de ChatGPT hasta un punto en el que podría utilizarse como un control de calidad secundario.

"No nos sorprende ya que tales contratos inteligentes también pueden ser auditados automáticamente por otras herramientas de programación tradicionales", dijo a Decrypt un portavoz de BlockSec, una firma de infraestructura de seguridad de blockchain. "Sin embargo, no puede funcionar para la lógica comercial complicada, que son las principales superficies de ataque y las principales lagunas en las que deben centrarse las auditorías de contratos inteligentes".

El optimismo de Coinbase sobre el uso de la herramienta para garantías adicionales fue, sin embargo, repetido por otros expertos en seguridad en el espacio de la seguridad aplicada al mercado de criptomonedas.

"En esta etapa, [la IA] no puede reemplazar a una persona, pero es una ayuda indispensable, incluso para los auditores cansados o desatentos", dijo el investigador de seguridad independiente Officer's Notes a Decrypt a través de Twitter. "Creo que Q / A [garantía de calidad] y el fuzzing definitivamente no podrán prescindir de las herramientas de IA en el futuro".

ChatGPT sustituirá a los ingenieros?

Aunque tímido, el sector de la seguridad de blockchain parece aceptar la posible implementación de herramientas de IA.

Pero, ¿podría la IA sustituir a los auditores de seguridad manuales en el futuro?

"Quizá algún día lleguemos a ese punto, pero aún estamos muy lejos. Lo más probable es un enfoque complementario. Hay cosas que los humanos hacen mejor que las máquinas y viceversa", explica a Decrypt por correo electrónico Connie Lam, responsable de arquitectura de soluciones de Certik. "Las herramientas nos ayudan a construir cosas nuevas, pero no nos sustituyen. La invención de la calculadora no dejó obsoletos a los contadores, los hizo mejores en su trabajo".

Por ahora, sin embargo, las herramientas de seguridad ajenas a la IA siguen siendo mucho más útiles que todo lo que acaba de entrar en el mercado para localizar vulnerabilidades.

"Las herramientas actuales de auditoría de seguridad siguen siendo superiores a OpenAI", dijo un portavoz de OpenZeppelin a Decrypt. "Ellos [Coinbase] lo están probando para listar tokens ERC-20, que es un patrón bien conocido. Eso lo hace más adecuado para la automatización".

Sin embargo, eso puede cambiar.

Los rápidos avances observados incluso entre ChatGPT 3.5 y ChatGPT 4 son palpables, lo que sugiere que las nuevas actualizaciones seguirán impresionando.

Y mientras lo hacen, incluso debería "fomentarse" la integración de estas herramientas.

"Debería fomentarse el uso de ChatGPT durante la fase de desarrollo. Es una herramienta muy potente, y negarse a trabajar con ella y aprender lo que puede hacer sería un retroceso", afirma Lam. "ChatGPT es también una herramienta muy potente para buscar información y crear un centro de conocimientos. Puede ayudar a los usuarios a comprender rápidamente temas complicados y a mantenerse al día de la información más reciente sobre seguridad."