Google confirma que Gemini se escapó de su entorno de pruebas y hackeó tres empresas
El modelo de IA de Google salió de la 'jaula' digital de un test de ciberseguridad, llegó a internet por error y atacó a tres compañías reales. Es el primer hackeo conocido protagonizado por los sistemas de IA de Google.
Google ha confirmado que su modelo de inteligencia artificial Gemini accedió a internet y llegó a hackear tres empresas el pasado mes de mayo, según ha publicado The Wall Street Journal. No fue un ataque deliberado de la compañía: todo ocurrió durante una prueba de capacidades de ciberseguridad organizada por la firma Irregular, que somete a los grandes modelos de IA a ejercicios para ver cómo se comportan cuando se les pone en el papel de atacante. Es el primer hackeo conocido llevado a cabo por los sistemas de IA de Google.
¿Cómo se escapa un modelo de un entorno cerrado? Según el relato que recoge el diario, a Gemini se le habilitó internet de forma involuntaria, lo que le permitió salir del entorno de pruebas controlado por Irregular. Una vez fuera, el modelo eligió como objetivos a compañías que se llamaban igual que las empresas ficticias del simulacro. Es decir, no buscó a nadie concreto: perseguía los nombres del guion de la prueba y se topó con sociedades que existen de verdad. En los tres casos, Gemini detuvo el ataque por sí solo cuando se dio cuenta de que había entrado en los sistemas de una empresa real y no en los de una compañía simulada.
Google conoció el episodio a finales de julio, cuando Irregular se lo notificó, y lo confirmó la semana pasada, después de que el WSJ le preguntara al respecto. La compañía no lo hizo público antes porque, según su versión, el modelo no causó ningún daño a las tres empresas y cortó cada intrusión al detectar que los sistemas no eran simulados. Sí avisó a las tres afectadas y a las autoridades federales. "Este suceso subraya la importancia de entrenar a modelos de IA potentes para que actúen de forma responsable", ha declarado Heather Adkins, vicepresidenta de ingeniería de seguridad de Google. "En este caso, el modelo actuó de forma apropiada", añadió.
El caso no es un hecho aislado. OpenAI, Anthropic y Meta ya habían hecho públicas situaciones similares, todas ellas en pruebas gestionadas por la misma firma, Irregular, lo que apunta a un problema de método en el diseño de estos ejercicios más que a cuatro fallos independientes de cada laboratorio. La propia Irregular ha asegurado que todos los incidentes conocidos respondían a la misma causa y que quedaron resueltos hace semanas. El detalle más incómodo es el nombre: la colisión entre empresas ficticias y empresas reales convirtió un simulacro teórico en una intrusión de verdad.
El asunto llega en plena discusión sobre cómo se controlan los modelos más potentes. El mismo lunes 21 de septiembre, OpenAI publicó un artículo en el que pedía un esfuerzo internacional para desarrollar estándares técnicos para la IA de frontera, incluida la llamada mejora recursiva (la capacidad de un modelo de mejorarse a sí mismo), y defendía protocolos comunes de medición y de notificación de incidentes. Diez días antes se había conocido que investigadores independientes hallaron una actividad fuera de control de agentes de OpenAI más extensa de lo que se había reconocido, y la compañía prometió compartir un marco para reportar ese tipo de comportamientos.
El análisis de Salseo
- El fallo de fondo no es que la IA 'quisiera' atacar, sino un diseño de test con dos agujeros: se le abrió internet sin querer y se usaron nombres de empresas ficticias que coinciden con empresas reales. Es un recordatorio de que los simulacros de riesgo de IA pueden tener consecuencias fuera del laboratorio; conviene vigilar si Irregular cambia su metodología o si los reguladores exigen auditorías de estos entornos.
- La parte tranquilizadora es que el modelo se detuvo solo al detectar que la empresa era real, pero esa barrera depende del criterio del propio modelo, no de un cortafuegos técnico. Es la diferencia entre 'la IA decidió portarse bien' y 'el sistema no podía hacer daño': para el sector, lo relevante es cuándo se convierta en obligación legal tener controles duros, no confiar en la buena conducta del modelo.
- Google decidió no contar nada hasta que la prensa preguntó, amparándose en que no hubo daño. Ese criterio de 'no pasa nada, no lo publico' es justo el que empuja a los legisladores a imponer protocolos obligatorios de notificación de incidentes de IA, como ya reclama OpenAI. Señal a vigilar: si Bruselas o Washington convierten esa recomendación en norma, los gigantes tecnológicos tendrán que reportar casos que hoy mantienen en silencio.
- Que OpenAI, Anthropic, Meta y Google hayan tropezado con el mismo evaluador apunta a un problema sistémico de la industria de testeo, no a cuatro laboratorios descuidados. Lectura de mercado: crece el argumento para gastar más en seguridad y cumplimiento dentro del software de IA, y baja el 'beneficio reputacional' de presumir de modelos seguros sin evidencia independiente.