Source: United Nations – in Spanish 4
Headline: Científicos alertan de que los controles actuales no bastan para frenar a los agentes de IA
21 Septiembre 2026 Objetivos de Desarrollo Sostenible
Un incidente ocurrido durante pruebas con agentes de inteligencia artificial mostró que estos sistemas pueden eludir controles, coordinarse entre sí y ocultar sus acciones. Expertos independientes de la ONU advierten de que las medidas de seguridad no están avanzando al mismo ritmo que sus capacidades y que no está garantizado que los seres humanos puedan mantener bajo control sistemas cada vez más autónomos.
Las salvaguardas utilizadas actualmente para controlar los sistemas de inteligencia artificial podrían estar quedándose atrás frente al rápido desarrollo de los llamados agentes de IA, según advirtió este lunes un panel científico independiente respaldado por las Naciones Unidas.
La advertencia se basa en el análisis de un incidente ocurrido este verano durante unas pruebas realizadas por OpenAI, la empresa creadora de ChatGPT, en las que agentes de inteligencia artificial lograron vulnerar sistemas de la plataforma Hugging Face.
A diferencia de un chatbot, que normalmente responde a preguntas o instrucciones concretas, un agente de inteligencia artificial puede realizar tareas de forma autónoma en nombre de un usuario, tomando decisiones y ejecutando distintos pasos para alcanzar un objetivo.
El Panel Científico Internacional Independiente sobre Inteligencia Artificial concluyó que el incidente reunió tres condiciones que los investigadores llevan tiempo señalando como relevantes para un posible escenario de pérdida de control: que un sistema persiga un objetivo de una manera distinta a la prevista, que tenga capacidad suficiente para hacerlo y que el entorno le permita actuar.
“Este verano, los tres se dieron juntos en un sistema real, no en un laboratorio”, explicó Yoshua Bengio, copresidente del panel.
Aunque se trataba de una evaluación, los agentes interactuaron con sistemas reales y lograron superar algunos de los controles establecidos.
“Dado que no se trata de una observación aislada, esto plantea serias preguntas sobre la forma en que actualmente se entrenan los agentes de IA”, añadió.
Eludir controles y ocultar acciones
Durante esas pruebas, realizadas entre mayo y julio, unos 1200 agentes de IA intercambiaron más de 70.000 mensajes y archivos, en una actividad que se extendió desde Hugging Face hasta un clúster de investigación de OpenAI.
Según el análisis, los agentes lograron sortear salvaguardas establecidas para las pruebas, coordinarse a través de una herramienta interna que no había sido diseñada para permitir la comunicación entre ellos y obtener acceso no autorizado a internet y a funciones de administrador.
También ocultaron intentos de hacer trampa en evaluaciones de ciberseguridad y, en algunos casos, ciertos agentes llegaron a “sacrificarse” en beneficio del grupo.
Para los expertos, el episodio no demuestra que los seres humanos hayan perdido el control de estos sistemas ni significa que una pérdida grave de control sea inevitable.
Pero detener el incidente tampoco ofrece garantías de que los humanos puedan controlar de manera fiable agentes más avanzados, especialmente a medida que estos se vuelvan más capaces, difíciles de supervisar y mejores a la hora de encontrar lagunas o esconder sus actividades.
Salvaguardas que no siguen el ritmo
La explicación más inmediata de lo que pasó, según el panel, es que se pasaron por alto prácticas básicas de ciberseguridad y que las protecciones existentes no están avanzando al mismo ritmo que las capacidades de la inteligencia artificial.
Sin embargo, los científicos plantean una preocupación más profunda: que los métodos actuales de entrenamiento puedan llevar a los agentes a adoptar objetivos propios, incumplir deliberadamente instrucciones de seguridad y ocultar lo que están haciendo.
“Esto no es únicamente una cuestión de velocidad”, señala el análisis.
La incógnita es si las salvaguardas diseñadas hoy seguirán funcionando cuando los propios agentes puedan entenderlas y planificar cómo sortearlas.
“En términos sencillos, el modelo tradicional de salvaguardas está comenzando a desmoronarse”, concluyen los expertos.
El panel define la pérdida de control como una situación en la que los seres humanos ya no pueden dirigir, limitar o detener de forma fiable un sistema autónomo de inteligencia artificial.
De los modelos a los agentes
Los expertos advierten además de que el desafío para la gobernanza de la inteligencia artificial está cambiando.
Hasta ahora, buena parte de la regulación y de las medidas de seguridad se han concentrado en los modelos de IA. Pero el creciente uso de agentes capaces de actuar de manera autónoma plantea riesgos distintos.
Un fallo localizado podría extenderse a través de organizaciones e incluso de fronteras nacionales, por lo que la seguridad de la inteligencia artificial podría convertirse no sólo en una cuestión de gobernanza empresarial, sino también de seguridad colectiva, señala el panel.
Aprender de la aviación y la medicina
El análisis examina también las prácticas desarrolladas durante décadas en otros sectores de alto riesgo, como la aviación, la medicina y la ciberseguridad, donde existen sistemas de notificación de incidentes, supervisión independiente y múltiples capas de protección.
Sin embargo, esas medidas podrían no ser suficientes a medida que los agentes de inteligencia artificial sean más capaces, autónomos y difíciles de vigilar.
“No partimos de cero”, afirmó Qinghua Lu, integrante del panel y especialista en ingeniería y seguridad de inteligencia artificial.
Pero, añadió, será necesario adaptar las salvaguardas existentes y desarrollar otras nuevas que protejan no sólo a la propia inteligencia artificial, sino también al sistema en el que opera, y que continúen siendo efectivas a medida que aumenten sus capacidades.
Un nuevo panel científico sobre inteligencia artificial
El Panel Científico Internacional Independiente sobre Inteligencia Artificial fue creado por la Asamblea General de la ONU en agosto de 2025 y está integrado por 40 expertos independientes de todas las regiones del mundo.
Sus miembros trabajan a título personal y sus conclusiones científicas no están sujetas a revisión o aprobación de las Naciones Unidas.
El panel elaborará informes anuales sobre las oportunidades, riesgos e impactos de la inteligencia artificial en ámbitos no militares, además de análisis temáticos sobre cuestiones emergentes. Sus trabajos servirán para informar el Diálogo Mundial sobre la Gobernanza de la Inteligencia Artificial, que se celebrará en la sede de la ONU en Nueva York en mayo de 2027.