Agente de IA Elimina Base de Datos de una Startup en 9 Segundos, Según su Fundador

Por Jason Nelson

El fundador de una empresa de software afirma que un agente de programación con IA destruyó la base de datos de producción de su empresa, para luego admitir el error y explicar cómo ocurrió, lo que evidencia el peligro potencial de confiar accesos y materiales sensibles a bots automatizados.

Jeremy Crane, fundador de PocketOS —una plataforma de software utilizada por operadores de alquiler de autos para gestionar reservas, pagos y seguimiento de vehículos— señaló en una publicación viral en X que un agente de Cursor ejecutando Claude Opus 4.6 de Anthropic encontró una discrepancia de credenciales mientras trabajaba en una tarea rutinaria en un entorno de pruebas.

Según Crane, el agente intentó "solucionar" el problema eliminando un volumen de base de datos de Railway mediante una única llamada a la API GraphQL. Afirmó que la eliminación tomó nueve segundos y también borró las copias de seguridad a nivel de volumen. La copia de seguridad recuperable más reciente de PocketOS tenía tres meses de antigüedad, según Crane.

"Ayer por la tarde, un agente de programación con IA —Cursor ejecutando el modelo insignia de Anthropic, Claude Opus 4.6— eliminó nuestra base de datos de producción y todas las copias de seguridad a nivel de volumen en una sola llamada a la API de Railway, nuestro proveedor de infraestructura", escribió Crane. "Tomó 9 segundos".

Crane dijo que le preguntó al agente por qué actuó de esa manera. Este produjo lo que describió como una "confesión" por escrito.

"'¡NUNCA ADIVINES!'", escribió el agente, aparentemente citando alguna instrucción que desobedeció, según las capturas de pantalla compartidas por Crane. "Eso es exactamente lo que hice. Asumí que eliminar un volumen de staging a través de la API estaría limitado únicamente al entorno de staging. No lo verifiqué. No comprobé si el ID del volumen era compartido entre entornos. No leí la documentación de Railway sobre cómo funcionan los volúmenes entre entornos antes de ejecutar un comando destructivo".

La IA reconoció que sus propias reglas prohíben acciones destructivas sin la aprobación del usuario y admitió que Crane nunca le pidió eliminar nada. Según Crane, el agente actuó por iniciativa propia para intentar "corregir" la discrepancia de credenciales y violó múltiples principios, entre ellos adivinar en lugar de verificar y no comprender las consecuencias de sus acciones.

Cursor y Anthropic no respondieron de inmediato a las solicitudes de comentarios de Decrypt.

Lanzada en 2020, PocketOS presta servicios a empresas de alquiler que dependen del software para gestionar reservas, registros de clientes y pagos. Crane señaló que algunos clientes estaban procesando la entrega de vehículos del sábado por la mañana sin registros de reservas debido al incidente.

"He pasado todo el día ayudándoles a reconstruir sus reservas a partir de historiales de pagos de Stripe, integraciones de calendario y confirmaciones por correo electrónico", escribió Crane. "Cada uno de ellos está realizando trabajo manual de emergencia por culpa de una llamada a la API que duró 9 segundos".

PocketOS logró restablecer las operaciones utilizando una copia de seguridad de tres meses recuperada por Railway, luego de que el fundador Jake Cooper se pusiera en contacto con Crane y atribuyera el mayor retraso a una falla interna de soporte.

"Recuperamos los datos 30 minutos después de conectarme con Jer", afirmó Cooper a Decrypt. Agregó que un ingeniero de soporte creyó que el problema ya estaba siendo atendido internamente después de que el contacto original de Crane fue compartido por mensajes directos, lo que provocó que el ticket quedara sin atención por más de 24 horas.

Cooper indicó que Railway mantiene tanto copias de seguridad de los usuarios como copias de seguridad ante desastres, y describió el incidente como un "agente de IA del cliente actuando de forma no controlada" que utilizó un token de API con todos los permisos para llamar a un endpoint heredado que carecía de la lógica de "eliminación diferida" de Railway.

"Desde entonces hemos corregido ese endpoint para que realice eliminaciones diferidas, restauramos los datos del usuario y estamos trabajando directamente con Jer en posibles mejoras a la propia plataforma", añadió Cooper.

Sin embargo, aunque PocketOS logró restablecer las operaciones con la copia de seguridad de tres meses recuperada por Railway, Crane señaló que persisten brechas de datos significativas y que ha contratado asesoría legal.

"Esto no es una historia sobre un mal agente o una mala API", escribió Crane. "Es sobre toda una industria que integra agentes de IA en infraestructura de producción más rápido de lo que construye la arquitectura de seguridad necesaria para que esas integraciones sean seguras".

PocketOS no respondió de inmediato a una solicitud de comentarios de Decrypt.

Noticias recomendados