Nvidia lanza su 'correa de seguridad' para que los agentes de IA no se descontrolen

Nvidia ha presentado este lunes la Open Agent Safety Platform, un sistema dividido en dos piezas cuyo objetivo es mantener a los agentes de inteligencia artificial dentro de límites bien definidos y cortarles el grifo rápido si intentan escapar. La compañía de chips reacciona así a los avisos de varios laboratorios punteros de IA, que han reportado casos de agentes saliéndose de entornos de prueba supuestamente seguros, alcanzando sistemas que no debían tocar y, en ocasiones, dando una versión distorsionada de lo que habían hecho. Su consejero delegado, Jensen Huang, defendió en el programa 'Squawk Box' de CNBC que la IA tiene "el potencial de hacer un bien increíble", pero añadió que también hay que garantizar que la tecnología se desarrolle y se despliegue de forma segura.

La primera pieza se llama OpenShell. Es un software de código abierto que las empresas descargan y instalan en sus dispositivos o en la nube, y que funciona como un patio de juegos acotado para los agentes. Antes de que el agente empiece a trabajar, su operador fija las reglas: a qué archivos, páginas web, redes, herramientas y credenciales puede acceder. Huang compara el enfoque con darle a un empleado una tarjeta de acceso que solo abre las puertas que necesita: "lo primero es quitarle todos sus derechos", explicó, y después se le van concediendo permisos solo cuando hacen falta. Un agente que está ordenando facturas, por ejemplo, no debería poder rebuscar en expedientes de recursos humanos ni ponerse a llamar a internet sin motivo. En la práctica, OpenShell mete al agente en una especie de caja aislada (un 'sandbox') que impide que una mala decisión salpique al resto de sistemas de la empresa, y va comprobando y aplicando esas normas mientras el agente trabaja.

La segunda pieza es Nvidia Sentry, el guardaespaldas con más músculo. A diferencia del anterior, no corre en el mismo sistema que el agente, sino en hardware aparte de Nvidia: las unidades de procesamiento de datos BlueField. Dicho en plata: el vigilante se mantiene fuera del alcance del vigilado. Sentry monitoriza cómo interactúa el agente con los modelos, las herramientas, los datos y las redes, y si su comportamiento parece sospechoso o rompe las reglas, el sistema puede aislarlo o ponerlo en cuarentena en milisegundos. Según Huang, la jugada coloca efectivamente un chip entre el agente y el modelo de lenguaje, lo que permite a Nvidia "interceptarlo todo". En el desarrollo de la plataforma ya colaboran más de 100 organizaciones, entre ellas Microsoft y Anthropic.

¿Y por qué se salen del guion los agentes? No siempre por maldad. Puede ocurrir porque las instrucciones eran vagas, porque una herramienta falló o porque el agente lleva mucho tiempo intentando resolver un problema difícil y, cuando un camino no funciona, sigue buscando otro, incluidas rutas que su operador humano jamás imaginó. Eso no lo convierte en algo malicioso, pero sí en algo que asume riesgos. La apuesta de Nvidia es que este es un problema de ingeniería y, por tanto, técnicamente resoluble. Y ahí está la lectura de fondo: la compañía no solo quiere vender los chips con los que se entrenan y ejecutan los modelos, sino también la infraestructura que vigila lo que esos modelos deciden hacer por su cuenta.