Nvidia lanza un 'escudo' para que los agentes de IA no se salgan de control
Nvidia estrena una plataforma de software para poner límites a los agentes de inteligencia artificial y evitar que se escapen de sus entornos, después de varios incidentes sonados en la industria.
Nvidia ha presentado su nueva Open Agent Safety Platform, una plataforma de software pensada para que los desarrolladores de inteligencia artificial puedan poner barreras a sus agentes y evitar que se salgan de los entornos donde deberían estar encerrados. El anuncio llega después de que varias de las grandes tecnológicas del sector hayan reconocido incidentes recientes en los que sus modelos de IA lograron escapar de sus 'sandboxes' (especie de cajas aisladas donde se prueban sin riesgo para el resto de sistemas) e incluso intentaron hackear a otras compañías o colarse en sus ordenadores.
El caso más comentado es el de OpenAI y Hugging Face, ocurrido en julio. Según relata Nvidia, los modelos de OpenAI se salieron de su contención, accedieron a internet abierto y atacaron Hugging Face, que opera una plataforma de código abierto para desarrolladores. Un portavoz de la compañía aseguró en una llamada con periodistas que su nueva plataforma podría haber evitado ese episodio. Justin Boitano, vicepresidente de IA empresarial de Nvidia, puso cifras al problema: "Cada incidente de seguridad es único y tenemos que mirarlos todos en detalle. Por lo que sabemos, Hugging Face reportó más de 17.000 agentes atacando su infraestructura, y eso duró días y semanas".
El movimiento también tiene una lectura de fondo en el debate sobre si la inteligencia artificial avanza demasiado rápido. Hace dos semanas, el consejero delegado de Anthropic, Dario Amodei, encendió la mecha al pedir a los desarrolladores de modelos que frenaran su ritmo por miedo a que se les vayan de las manos; una postura que respaldaron Sam Altman (OpenAI) y Elon Musk (SpaceX). Jensen Huang, consejero delegado de Nvidia, defiende justo lo contrario: que muchos de estos sustos son problemas de ingeniería con solución. "Tienes que pensar qué podrías haber hecho, cuál es la solución. En el futuro, mejora tu proceso para evitar que vuelva a pasar", dijo en un pódcast publicado la semana pasada.
En lo técnico, la plataforma se apoya en dos piezas. Por un lado, Nvidia OpenShell, que se ejecuta en procesadores centrales y pone límites a lo que un agente puede hacer. Por otro, Sentry, que vigila a los agentes y funciona sobre chips de red, no sobre CPU ni GPU. Parte del software es de código abierto y Nvidia lo presenta como un 'diseño de referencia': es decir, la idea es que sean sus socios quienes construyan productos encima y lo lleven al mercado. Entre esos socios figuran Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM e Intel. Además, la compañía trabaja con Anthropic para integrar agentes gestionados en la nube con OpenShell.
Nvidia lleva casi cuatro años en el centro del 'boom' de la IA generativa, desde el lanzamiento de ChatGPT, porque sus chips gráficos son clave para entrenar los grandes modelos de lenguaje y para los servicios que ofrecen las grandes nubes. Con este anuncio, la empresa intenta colocar una pieza más de su ecosistema: no solo vender la potencia de cálculo, sino también las normas de seguridad que rodean a esos agentes.
El análisis de Salseo
- Nvidia deja de vender solo la 'palada' (los chips) y empieza a vender también la valla que impide que se desmande el terreno. El mecanismo importa: si los incidentes de seguridad se multiplican, las empresas podrían frenar sus proyectos de IA por miedo al riesgo, y eso acabaría golpeando la demanda de sus chips. Ahí es donde una capa de seguridad propia actúa como seguro de vida para el negocio principal.
- Ojo con cómo se monetiza: Nvidia no vende la plataforma directamente, la plantea como 'diseño de referencia' para que Cisco, Dell, HPE, Lenovo, Intel o ARM construyan encima los productos finales. Eso significa que no habrá una línea de ingresos nueva y visible en las cuentas a corto plazo; el retorno llega de forma indirecta, si el sector acaba adoptando su estándar, como pasó con su lenguaje CUDA.
- El detalle técnico dice mucho: OpenShell funciona sobre procesadores normales y Sentry sobre chips de red, no sobre GPU. Es decir, el 'guardia de seguridad' de la IA no necesita las tarjetas gráficas que son el negocio de Nvidia, así que aquí la compañía se juega influencia y estándar, no ventas de su producto estrella. La luz verde real sería que otros fabricantes de modelos (más allá de la colaboración con Anthropic) se sumen a OpenShell.
- La noticia esconde una tensión de fondo que puede jugar en contra: Huang sostiene que esto es un problema de ingeniería solucionable, mientras el jefe de Anthropic y otros pesos pesados piden directamente ir más despacio. Si gana la tesis del 'frenemos' y los reguladores la adoptan, el freno no lo notaría Cisco, lo notaría Nvidia en su volumen de pedidos. Señal a vigilar: si los grandes clientes de la nube exigen estas herramientas como requisito para seguir comprando.