Por Jason Nelson
3 min lectura
Las alucinaciones de IA podrían ser más que respuestas incorrectas—podrían convertirse en una vía para que hackers comprometan computadoras, según una nueva investigación de la Universidad de Tel Aviv, el Technion e Intuit.
En el paper "Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting," los investigadores demostraron una técnica que explota los modelos de IA cuando estos generan enlaces falsos a repositorios de software y otros recursos en línea.
"La creciente adopción de aplicaciones LLM agénticas ha introducido una nueva amenaza denominada promptware", escribieron los investigadores. "Si bien trabajos previos han establecido que los adversarios pueden explotar canales directos hacia aplicaciones LLM para aplicar promptware bajo modelos de amenaza débiles, muchas aplicaciones no ofrecen canales directos que puedan ser explotados para inyección de prompts más allá de Internet".
El ataque conocido como adversarial hallucination squatting o "HalluSquatting", consiste en predecir qué recursos falsos es probable que generen los modelos de IA, registrar esos nombres e incorporar instrucciones maliciosas. Si un agente de IA luego recupera el recurso alucinado, podría tratar el contenido controlado por el atacante como legítimo.
Los investigadores señalaron que la amenaza surge a medida que los asistentes de IA van más allá de responder preguntas y adquieren la capacidad de interactuar con computadoras—accediendo a archivos, buscando en la web, escribiendo código y ejecutando comandos.
Esas capacidades pueden generar brechas de seguridad cuando los agentes actúan sobre información que recuperan sin verificar si la fuente es real.
"Estudios en curso han demostrado diversas variantes de ataques Promptware contra sistemas del mundo real, entre ellos ChatGPT, Google Assistant, Copilot y otras aplicaciones adicionales", agregaron. "Estos trabajos demostraron que el Promptware puede tener impactos financieros, de privacidad y de seguridad".
Los investigadores advirtieron que la técnica podría permitir a los atacantes construir botnets habilitadas con IA. Una botnet es una red de computadoras o dispositivos infectados controlados de forma remota por un atacante. Las botnets se utilizan habitualmente en ciberataques, entre ellos ataques de denegación de servicio, minería de criptomonedas, distribución de malware y campañas de ransomware.
En las pruebas, los investigadores encontraron que las alucinaciones de recursos generadas por IA ocurrieron a tasas de hasta el 85% en escenarios de clonación de repositorios y del 100% en pruebas de instalación de habilidades.
El equipo evaluó la técnica contra asistentes y agentes de codificación de IA, entre ellos Cursor, GitHub Copilot, Gemini CLI y OpenClaw.
El HalluSquatting es similar al typosquatting, una táctica de ciberataque en la que los atacantes registran nombres de dominio que se asemejan a sitios web o paquetes de software legítimos para engañar a los usuarios. En lugar de explotar errores de tipeo humanos, el HalluSquatting apunta a los errores cometidos por los modelos de IA.
La noticia llega mientras los investigadores continúan evaluando cómo los atacantes pueden manipular agentes de IA.
En abril, investigadores de Google detallaron sitios web maliciosos diseñados para secuestrar agentes de IA mediante ataques de inyección indirecta de prompts, incluyendo intentos de robar contraseñas, eliminar archivos y manipular pagos. Un estudio aparte sobre el ataque "CopyPasta" mostró cómo prompts ocultos dentro de archivos de desarrolladores podían manipular a los asistentes de codificación de IA para que propagaran código malicioso.
En junio, un usuario de OpenClaw reportó haber enfrentado más de 6.000 intentos de atacantes que buscaban engañar al agente de IA para que filtrara información sensible.
Decrypt-a-cookie
This website or its third-party tools use cookies. Cookie policy By clicking the accept button, you agree to the use of cookies.