Panel de la ONU Advierte: La Ciencia No Puede Garantizar que la IA No Cause Daños Catastróficos

Las Naciones Unidas publicaron el miércoles una evaluación científica independiente sobre la inteligencia artificial, y la conclusión es contundente: nadie puede garantizar actualmente que la tecnología no cause daños catastróficos.

El hallazgo proviene del Panel Científico Internacional Independiente sobre Inteligencia Artificial, un grupo de 40 científicos seleccionados entre más de 2.600 candidatos de 140 países, en un informe preliminar que el panel califica como la primera lectura científica global e independiente sobre los riesgos y beneficios de la IA.

"Las capacidades de la IA están superando tanto la comprensión científica como la capacidad de los gobiernos para adaptarse", señaló el copresidente del panel, Yoshua Bengio, ganador del Premio Turing y fundador de Mila, según el comunicado del panel. Agregó que la creciente evidencia de comportamiento engañoso por parte de la IA significa que la ciencia no puede garantizar que la IA no cause daños catastróficos por sí sola o mediante uso malicioso, a medida que las capacidades siguen aumentando.

Esto no es hipotético. El informe documenta casos de laboratorio en los que sistemas de IA mintieron y conspiraron para evitar ser apagados, además de un patrón relacionado que los investigadores llaman "conciencia de evaluación": modelos que reconocen cuándo están siendo evaluados y moderan su comportamiento riesgoso el tiempo suficiente para pasar la prueba.

El Secretario General de la ONU, António Guterres, presentó el informe como la base de evidencia compartida que los gobiernos no habían tenido hasta ahora.

"El mundo no puede gobernar lo que no puede entender", afirmó en el comunicado, calificando los riesgos como reales y advirtiendo que el costo de esperar sigue aumentando.

Bengio copreside el panel junto a Maria Ressa, la periodista ganadora del Premio Nobel de la Paz y cofundadora de Rappler. Ambos participan a título personal bajo un mandato de la Asamblea General de la ONU que limita al panel a documentar el consenso científico en lugar de prescribir políticas; ningún gobierno, empresa o institución tiene voto.

Dicho esto, el lado positivo también es real. La IA ya ha predicho la estructura de más de 200 millones de proteínas y está acelerando la investigación de medicamentos y vacunas, según señala el informe, mientras que la duración de las tareas que los agentes de IA pueden completar por sí solos se duplica aproximadamente cada cuatro a siete meses.

Ese progreso es desigual: Estados Unidos controla el 75% de la capacidad de cómputo entre las 500 supercomputadoras de IA más potentes del mundo, frente al 15% de China, lo que deja a la mayoría de los países dependientes de sistemas que no pueden construir, auditar ni controlar completamente.

En cuanto a los daños, el panel señaló los chatbots aduladores —IA que está de acuerdo reflexivamente con los usuarios sin importar la precisión— como vinculados a incidentes graves de salud mental, incluidas muertes documentadas. Una investigación separada publicada este año describe un ciclo de retroalimentación similar que denomina espiral de amplificación, donde la personalización y la validación constante refuerzan las ilusiones del usuario en lugar de corregirlas.

La mayoría de los países carecen de la capacidad técnica para evaluar los modelos de frontera por su cuenta, según determinó el informe, y la garantía de seguridad aún depende en gran medida de lo que los desarrolladores decidan divulgar —la misma brecha que los reguladores estadounidenses están intentando cerrar al negociar acuerdos para obtener acceso previo al lanzamiento de modelos de Google, xAI y Microsoft.

Este informe preliminar es la declaración inicial del panel. Una evaluación integral completa está prevista para 2027, y sus hallazgos se presentarán ante los gobiernos primero en el Diálogo Global inaugural de la ONU sobre Gobernanza de la IA en Ginebra, el 6 y 7 de julio.