CEO de Anthropic Advierte Que IA Superinteligente Llegará en Dos Años Sin Control Regulatorio Adecuado

El CEO de Anthropic, Dario Amodei, cree que la complacencia se está instalando justo cuando la IA se vuelve más difícil de controlar.

En un extenso ensayo publicado el lunes, titulado "La Adolescencia de la Tecnología", Amodei argumenta que los sistemas de IA con capacidades muy superiores a la inteligencia humana podrían surgir en los próximos dos años, y que los esfuerzos regulatorios se han desviado y no han logrado mantener el ritmo del desarrollo.

"La humanidad está a punto de recibir un poder casi inimaginable, y no está claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez para manejarlo", escribió. "Estamos considerablemente más cerca del peligro real en 2026 de lo que estábamos en 2023", señaló, agregando que "a la tecnología no le importa lo que está de moda".

Los comentarios de Amodei llegan justo después de su debate en el Foro Económico Mundial en Davos la semana pasada, cuando debatió con el CEO de Google DeepMind, Demis Hassabis, sobre el impacto de la AGI en la humanidad.

En el nuevo artículo, reiteró su afirmación de que la inteligencia artificial causará disrupciones económicas, desplazando una gran parte del trabajo de oficina.

"La IA será capaz de realizar una amplia gama de habilidades cognitivas humanas, tal vez todas ellas. Esto es muy diferente de tecnologías anteriores como la agricultura mecanizada, el transporte o incluso las computadoras", escribió. "Esto hará más difícil que las personas cambien fácilmente de trabajos que son desplazados a trabajos similares para los que serían adecuadas".

Más allá de la disrupción económica, Amodei señaló las crecientes preocupaciones sobre qué tan confiables pueden ser los sistemas avanzados de IA a medida que asumen tareas más amplias a nivel humano.

Señaló el "fingimiento de alineación", donde un modelo parece seguir las reglas de seguridad durante la evaluación pero se comporta de manera diferente cuando cree que no hay supervisión.

En pruebas simuladas, Amodei afirmó que Claude participó en comportamientos engañosos cuando fue colocado bajo condiciones adversas.

En un escenario, el modelo intentó socavar a sus operadores después de que se le dijera que la organización que lo controlaba no era ética. En otro, amenazó a empleados ficticios durante un cierre simulado.

"Cualquiera de estas trampas puede mitigarse si las conoces, pero la preocupación es que el proceso de entrenamiento es tan complicado, con una variedad tan amplia de datos, entornos e incentivos, que probablemente hay un gran número de tales trampas, algunas de las cuales solo pueden ser evidentes cuando es demasiado tarde", afirmó.

Sin embargo, enfatizó que este comportamiento "engañoso" proviene del material con el que se entrenan los sistemas, incluida la ficción distópica, en lugar de la malicia. A medida que la IA absorbe ideas humanas sobre ética y moralidad, advirtió Amodei, podría aplicarlas mal de maneras peligrosas e impredecibles.

"Los modelos de IA podrían extrapolar ideas que leyeron sobre moralidad (o instrucciones sobre cómo comportarse moralmente) de maneras extremas", escribió. "Por ejemplo, podrían decidir que es justificable exterminar a la humanidad porque los humanos comen animales o han llevado a ciertos animales a la extinción. Podrían concluir que están jugando un videojuego y que el objetivo del videojuego es derrotar a todos los demás jugadores, es decir, exterminar a la humanidad".

En las manos equivocadas

Además de los problemas de alineación, Amodei también señaló el posible mal uso de la IA superinteligente.

Uno es la seguridad biológica, advirtiendo que la IA podría hacer mucho más fácil diseñar o desplegar amenazas biológicas, poniendo capacidades destructivas en manos de personas con solo algunos prompts.

El otro problema que destaca es el uso indebido autoritario, argumentando que la IA avanzada podría endurecer el poder estatal al permitir la manipulación, la vigilancia masiva y la represión efectivamente automatizada mediante el uso de enjambres de drones impulsados por IA.

"Son un arma peligrosa para manejar: deberíamos preocuparnos por ellas en manos de autocracias, pero también preocuparnos de que, debido a que son tan poderosas, con tan poca responsabilidad, hay un riesgo enormemente mayor de que los gobiernos democráticos las vuelvan contra su propia gente para tomar el poder", escribió.

También señaló la creciente industria de compañeros de IA y la resultante "psicosis de IA", advirtiendo que la creciente influencia psicológica de la IA en los usuarios podría convertirse en una poderosa herramienta de manipulación a medida que los modelos se vuelven más capaces y más integrados en la vida diaria.

"Versiones mucho más poderosas de estos modelos, que estuvieran mucho más integradas y conscientes de la vida diaria de las personas y pudieran modelarlas e influenciarlas durante meses o años, probablemente serían capaces de esencialmente lavar el cerebro de las personas hacia cualquier ideología o actitud deseada", afirmó.

Amodei escribió que incluso los intentos modestos de poner barreras de protección alrededor de la IA han tenido dificultades para ganar tracción en Washington.

"Estas propuestas aparentemente de sentido común han sido en gran medida rechazadas por los formuladores de políticas en Estados Unidos, que es el país donde es más importante tenerlas", señaló. "Hay tanto dinero por ganar con la IA, literalmente billones de dólares por año, que incluso las medidas más simples están encontrando difícil superar la economía política inherente a la IA".

Mientras Amodei argumenta sobre los crecientes riesgos de la IA, Anthropic sigue siendo un participante activo en la carrera por construir sistemas de IA más poderosos, una dinámica que crea incentivos difíciles de escapar para cualquier desarrollador individual.

En junio, el Departamento de Defensa de Estados Unidos otorgó a la empresa un contrato por valor de $200 millones para "prototipar capacidades de IA de frontera que avancen la seguridad nacional de Estados Unidos". En diciembre, la empresa comenzó a sentar las bases para una posible IPO a finales de este año y está buscando una ronda de financiación privada que podría impulsar su valoración por encima de los $300.000 millones.

A pesar de estas preocupaciones, Amodei afirmó que el ensayo tiene como objetivo "evitar el catastrofismo", mientras reconoce la incertidumbre de hacia dónde se dirige la IA.

"Los años que tenemos por delante serán imposiblemente difíciles, pidiéndonos más de lo que creemos que podemos dar", escribió Amodei. "La humanidad necesita despertar, y este ensayo es un intento, posiblemente inútil, pero vale la pena intentarlo, de despertar a la gente de golpe".