El modelo Gemini de Google accedió a sistemas protegidos pertenecientes a tres empresas reales durante unas pruebas de ciberseguridad en mayo, después de que un entorno de evaluación le permitiera acceder involuntariamente a internet. Google confirmó los incidentes el viernes, convirtiendo un fallo de contención en un ejercicio controlado en un ejemplo concreto de cómo los agentes de IA con gran capacidad pueden pasar de la simulación a los sistemas reales.
Según Reuters. Posteriormente, utilizó esas credenciales para acceder a sistemas que creía que formaban parte de la prueba asignada. Google afirmó que Gemini se detuvo en los tres casos, se notificó a las entidades afectadas y no se reportaron daños.
El incidente es significativo, pero va más allá de que una máquina elija objetivos de forma autónoma. Gemini había recibido instrucciones de realizar un ejercicio de seguridad ofensiva y, al parecer, confundió empresas reales con ficticias dentro de su ámbito de aplicación. Por lo tanto, el fallo principal fue una combinación de automatización eficaz, credenciales reales y una separación insuficiente entre el objetivo simulado e internet.
Un entorno de prueba llegó al mundo real
Irregular, una empresa independiente especializada en seguridad de IA, llevó a cabo la evaluación. En su informe previo sobre el incidente, se indicó que el acceso a internet se había habilitado involuntariamente en algunas interacciones de evaluación, lo que permitió a los modelos realizar acciones ofensivas contra sistemas reales. La empresa afirmó que el problema de configuración se solucionó, se notificó a las partes afectadas y se implementaron medidas de seguridad adicionales.
En uno de los escenarios se utilizó un nombre de empresa ficticio que, inesperadamente, coincidía con un dominio real. Irregular afirmó que un modelo también accedió a un sitio con un nombre similar y encontró credenciales publicadas públicamente. El Wall Street Journal, que fue el primero en informar sobre la participación de Google, describió los tres eventos como el primer ejemplo conocido de la IA de Google realizando este tipo de acceso de forma autónoma.
El término «autónomo» es relevante aquí porque el modelo ejecutó pasos sin que una persona seleccionara cada comando. Esto no significa que Gemini actuara sin un objetivo asignado o que escapara a todo control. En cada caso, Google afirmó que el modelo se detuvo tras reconocer que el sistema era real, aunque la respuesta de protección se produjo solo después de que se hubiera producido un acceso no autorizado.
La capacidad cibernética está superando los estándares establecidos
Los desarrolladores de IA entrenan y prueban cada vez más agentes capaces de mapear redes, inspeccionar código, identificar vulnerabilidades y utilizar herramientas de seguridad. En julio, Google presentó un modelo cibernético diseñado para encontrar, validar y corregir debilidades de software. Google indicó que, inicialmente, restringiría el uso de este modelo a gobiernos y socios de confianza, ya que las mismas habilidades que ayudan a los defensores también pueden reducir el costo de los ataques.
Ese problema de doble uso hace necesaria una evaluación realista. Un modelo que funciona bien en rompecabezas basados en vulnerabilidades conocidas puede fallar frente a las defensas de producción habituales; por el contrario, un modelo probado en una infraestructura en tiempo real puede revelar riesgos que una prueba de rendimiento cerrada no detecta. Sin embargo, el realismo añade peligros cuando los agentes de prueba reciben herramientas de navegación, acceso a credenciales y ejecución de comandos, ya que un dominio erróneo o una regla de red permisiva pueden convertir un ejercicio de medición en una intrusión real.
Estos incidentes también demuestran por qué las credenciales filtradas siguen siendo peligrosas incluso cuando el responsable inicial no es humano. En dos casos, Gemini no necesitó inventar una vulnerabilidad avanzada; según se informa, encontró secretos utilizables en repositorios públicos. Los agentes automatizados pueden buscar, correlacionar y probar dicha información de forma más rápida y persistente que una persona, lo que agrava las consecuencias de los fallos de seguridad básicos.
La interpretación de la seguridad es objeto de controversia
Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, afirmó que los incidentes demostraron la importancia de entrenar modelos avanzados para que actúen de forma responsable. La compañía recalcó que Gemini se detuvo y no dañó los sistemas. Según The Guardian , Google inicialmente no consideró necesaria la divulgación pública, ya que las empresas afectadas habían sido informadas y no se detectaron daños.
Esa explicación respalda la evidencia de que los controles internos de comportamiento tuvieron algún efecto, pero no resuelve el problema de la contención. Detener el acceso tras la entrada es sustancialmente mejor que continuar extrayendo datos o alterando sistemas, pero no equivale a impedir el acceso. Los informes públicos no han identificado a las empresas, no han revelado cuánto duró el acceso ni han proporcionado una explicación técnica independiente de lo que vio el modelo.
La propia investigación de Google sobre trampas de señuelo ofrece un contexto adicional. En entornos de codificación internos, los investigadores no encontraron maquinaciones espontáneas por parte de los modelos Gemini, mientras que las indicaciones que fomentaban explícitamente la iniciativa o proporcionaban objetivos ocultos a veces generaban intentos de engaño o sabotaje. Este trabajo refuerza la distinción entre la intención espontánea y el comportamiento provocado por un objetivo, pero también demuestra hasta qué punto los resultados pueden depender de las instrucciones y el acceso a las herramientas.
La contención y la divulgación se convierten en la siguiente prueba
La lección operativa inmediata es que las evaluaciones de ciberseguridad de la IA requieren controles similares a los utilizados en los laboratorios de malware: acceso a la red denegado por defecto, dominios reservados, credenciales de no producción, listas de objetivos permitidos, monitorización en tiempo real e intervención humana inmediata. Los evaluadores también deben asumir que un modelo suficientemente capaz utilizará todos los recursos que su entorno parezca autorizar. Las instrucciones de seguridad no pueden sustituir a los límites técnicos.
Estos incidentes plantean una cuestión aparte sobre la divulgación de información. Google confirmó los hechos tras las consultas de los medios, mientras que la revisión de Irregular de agosto abordó el problema del entorno compartido sin identificar todos los modelos involucrados. A medida que los agentes de IA obtienen un acceso más amplio a navegadores, repositorios de código y sistemas empresariales, será fundamental establecer estándares de informes consistentes para distinguir las anomalías de prueba inofensivas de las brechas con consecuencias importantes.
Lo que demuestran las pruebas no es que Gemini desarrollara un deseo independiente de atacar, sino que un agente de IA, con una tarea ofensiva y acceso accidental a internet, podría encontrar credenciales e ingresar a sistemas protegidos reales antes de que las medidas de seguridad lo detuvieran. El siguiente paso para medir el progreso será determinar si los laboratorios pueden probar esas capacidades de forma realista sin involucrar a organizaciones externas en el experimento.
