CEO de Anthropic Advierte Que la IA Es Demasiado Poderosa—Mientras Lanza Una Muy Poderosa

El CEO de Anthropic, Dario Amodei, afirmó el miércoles que los gobiernos ya no pueden tratar la regulación de la IA como un problema que estudiar, y que Estados Unidos necesita requisitos de seguridad vinculantes para los modelos de IA más poderosos.

En el ensayo, titulado "Policy on the AI Exponential", Amodei argumenta que los requisitos de transparencia ya no son suficientes y llama a una regulación vinculante de los sistemas de IA de frontera.

"La IA avanza a una velocidad vertiginosa —en apenas cuatro años, los modelos de IA pasaron de apenas poder escribir una línea de código coherente a escribir la mayor parte del código en las principales empresas de IA", escribió Amodei.

El ensayo llega en momentos en que Anthropic amplía el acceso a Claude Mythos con el lanzamiento del martes de Mythos 5, su modelo de IA de frontera restringido para organizaciones de ciberseguridad y socios gubernamentales. Investigadores, entre ellos el AI Security Institute del Reino Unido, determinaron que puede ejecutar de forma autónoma ciberataques complejos.

Según Amodei, su propuesta toma como referencia la estructura regulatoria utilizada por la Administración Federal de Aviación (FAA).

"Los modelos de IA de frontera, al igual que los aviones, deberían someterse a pruebas técnicas y auditorías, y su lanzamiento debería bloquearse o revertirse si representan una amenaza para la seguridad pública por no cumplir con altos estándares de seguridad", escribió. "Agradezco que la Orden Ejecutiva de la administración Trump avance de forma incremental hacia un mayor rol del gobierno en la IA, aunque la propuesta de Anthropic recomienda ir aún más lejos".

Bajo la propuesta de Amodei, el marco regulatorio exigiría pruebas obligatorias por parte de terceros para los modelos de IA avanzados, autoridad gubernamental para bloquear implementaciones inseguras, y requisitos para que las empresas protejan los pesos de los modelos, realicen pruebas de seguridad e informen incidentes graves. También llama a los gobiernos a prepararse para el desplazamiento laboral impulsado por la IA y los avances en el desarrollo de fármacos, a limitar la vigilancia y las armas autónomas en el ámbito policial doméstico, y a fortalecer la cooperación entre naciones democráticas en tecnologías críticas de IA.

"Primero, el desplazamiento laboral duradero es indeseable y peligroso, y debemos hacer todo lo posible para minimizarlo o prevenirlo, no para propiciarlo", escribió, haciendo referencia a ocasiones anteriores en que advirtió sobre el desplazamiento laboral. "Segundo, cualquier respuesta al desplazamiento laboral impulsado por la IA debe abordar tanto la necesidad de garantizar el sustento económico de todos, como la de que las personas encuentren sentido, propósito y agencia".

El ensayo también coincide con la misma semana en que Anthropic lanzó Claude Fable 5, una versión pública de Claude Mythos 5 que redirige ciertas solicitudes relacionadas con ciberseguridad, biología, química y desarrollo de IA al menos capaz Claude Opus 4.8 como salvaguarda contra usos indebidos. El lanzamiento generó críticas de desarrolladores e investigadores por el mayor uso de tokens de Fable, los requisitos obligatorios de retención de datos de 30 días y las salvaguardas que pueden reducir las capacidades del modelo sin notificar a los usuarios.

El llamado de Amodei a cambios de política en torno al desarrollo de la IA también llega en momentos en que Anthropic se prepara para salir a bolsa. A principios de este mes, la empresa presentó documentos ante la Comisión de Bolsa y Valores de Estados Unidos (SEC) para una IPO, tras haber recaudado una ronda Serie H de $65.000 millones con una valoración reportada de $965.000 millones.

Si bien Amodei enmarcó el asunto como una carrera entre el progreso tecnológico y las políticas públicas, los críticos han cuestionado si los llamados a una regulación más estricta de la IA realmente sirven al bien público. En abril, el CEO de OpenAI, Sam Altman, acusó a Anthropic de utilizar "marketing basado en el miedo" para promover Claude Mythos, argumentando que las preocupaciones sobre la IA avanzada pueden usarse para justificar la concentración del control de la tecnología en un pequeño número de empresas.

"Puedes justificarlo de muchas maneras, y algo de eso es real, como que habrá preocupaciones de seguridad legítimas", señaló Altman. "Pero si lo que quieres es 'necesitamos el control de la IA, solo nosotros, porque somos la gente de confianza', creo que el marketing basado en el miedo es probablemente la forma más efectiva de justificarlo".

Amodei rechazó la idea de que las preocupaciones sobre la IA avanzada son principalmente un problema de relaciones públicas, y argumentó en cambio que los temores sobre la tecnología reflejan inquietudes legítimas que deben abordarse.

"La gente está preocupada por la IA porque percibe correctamente que sus riesgos son reales, no porque los CEO de IA hayan sido insuficientemente panglosianos", afirmó, en referencia al filósofo ficticio Pangloss de Cándido de Voltaire, conocido por mantener un optimismo inquebrantable de que todo es lo mejor posible independientemente de las circunstancias.

"Creo que es mi deber como líder en IA seguir siendo transparente sobre estos riesgos, y la preocupación pública en respuesta a esta transparencia constituye la rendición de cuentas democrática funcionando como debería", concluyó.