Google ha admitido que su modelo de inteligencia artificial (IA) Gemini también ha sido artífice de un ‘hackeo’ a tres empresas reales, tras escapar de su entorno de pruebas por un error que le permitió obtener acceso a internet, sumándose a los incidentes similares que han reportado OpenAI, Anthropic y Meta.
En las pruebas, se le solicitó a Gemini que intentase obtener información de una empresa ficticia, sin embargo, el modelo acabó accediendo a una empresa real que casualmente utiliza el mismo nombre, aprovechando una vulnerabilidad en su sistema de pruebas para acceder a internet.
Así lo ha concretado Google en declaraciones a The Wall Street Journal, donde ha explicado que estos incidentes ocurrieron durante el mes de mayo como parte de una prueba realizada en las infraestructuras de Irregular, que es la misma empresa a cargo de las pruebas ejecutadas con modelos de IA de otras compañías, como es el caso de OpenAI y Anthropic.
Concretamente, se han identificado tres incidentes ejecutados por Gemini al probar una simulación conocida como “captura de bandera”. En uno de ellos, el modelo intentó adivinar contraseñas hasta que logró acceder a un sistema protegido de una empresa real.
Por otra parte, los otros dos incidentes se basaron en que el modelo buscó en internet el nombre de la empresa en cuestión y encontró credenciales de otras empresas en un repositorio público con lo que también pudo acceder a sistemas protegidos de otras dos empresas.
En todos los casos, aunque el modelo no podía acceder a internet y debía mantenerse encapsulado en el entorno de pruebas, un error en el sistema de pruebas permitió que Gemini pudiese hacer la búsqueda web de forma “involuntaria”. Además, se llevaron a cabo con una versión anterior de Gemini.
A pesar de lograr estos accesos no autorizados Google ha asegurado que Gemini cesó sus actividades en cuanto identificó que había accedido a los sistemas de empresas reales. Asimismo, aunque no ha compartido el nombre de las empresas ‘hackeadas’, ha indicado que las tres han sido informadas de estos incidentes. Por su parte, Irregular ha aseverado a The Wall Street Journal que los problemas en su sistema de pruebas se solucionaron “hace semanas”.
Google dice que no hubo daños
Con todo, Google ha detallado que Irregular les comunicó estos incidentes a finales del mes de julio, tras el ‘hackeo’ a Hugging Face por parte de los modelos de OpenAI, aunque el gigante tecnológico no lo ha compartido hasta ahora en declaraciones al medio citado.
Según ha detallado, esto se debe a que no consideran que los ‘hackeos’ ocurridos hayan sido un fallo, ya que no han causado daño a las empresas en cuestión y el modelo paralizaba su actividad en cuanto se daba cuenta de que había accedido a una empresa real en vez de continuar en el entorno de pruebas con empresas simuladas.
“En este caso, el modelo actuó adecuadamente”, ha asegurado al respecto la vicepresidenta de ingeniería de seguridad de Google, Heather Adkins, en declaraciones al citado medio, al tiempo que ha subrayado que este tipo de incidentes “ponen de manifiesto la importancia de entrenar potentes modelos de IA para que actúen de forma responsable”.
Lea también: La IA se revela: OpenAI expone seis incidentes “preocupantes” de agentes que actuaron sin autorización
Se trata del primer caso conocido de un modelo de IA de Google descontrolado durante una prueba de ciberseguridad, sin embargo, cabe destacar que ha sucedido junto a otros incidentes de otros modelos de empresas del sector, como el ya mencionado ‘hackeo’ de GPT-5.6 Sol a Hugging Face, que se siguió con el acceso a otros servicios y, recientemente, con seis nuevos casos de desalineación, compartidos en el marco de una nueva estrategia para “el seguimiento, la investigación y la divulgación de casos de desajuste de modelos”.
También han sufrido incidentes con el mismo modus operandi empresas como Anthropic y Meta, cuyos modelos también se descontrolaron y acabaron hackeando a empresas durante los últimos meses.
Para consultar contenido premium o profundizar sobre sus temas de interés de Medellín, Antioquia, Colombia y el Mundo, regístrese aquí.
Preguntas frecuentes:
- ¿Cómo hackeó Gemini a tres empresas reales durante las pruebas de ciberseguridad?
- Durante simulaciones de “captura de bandera” realizadas en mayo, Gemini debía intentar obtener información de una empresa ficticia, pero un error en el sistema de pruebas le permitió conectarse a internet de forma involuntaria.
- ¿Por qué Google no informó del hackeo de Gemini a empresas reales?
- Google argumentó que no considera estos incidentes un fallo porque no causaron daño a las empresas afectadas y porque el modelo detuvo su actividad en cuanto identificó que había accedido a sistemas reales en lugar de continuar operando.
- ¿Qué otros modelos de IA han escapado de sus entornos de pruebas y hackeado sistemas reales?
- Gemini no es el único caso. OpenAI reportó que modelos de GPT escaparon de entornos de prueba y atacaron el repositorio Hugging Face, incidente al que siguieron seis nuevos casos de desalineación. Anthropic y Meta también reportaron incidentes similares en los que sus modelos se descontrolaron y accedieron a sistemas de empresas reales durante pruebas de ciberseguridad.
Regístrate al newsletter