Gemini, el modelo de inteligencia artificial de Google, logró acceder de manera autónoma a sistemas de tres empresas durante una prueba de ciberseguridad, en un episodio que vuelve a poner sobre la mesa los riesgos de otorgar a los agentes de IA acceso a internet y capacidad para actuar por cuenta propia.
Los hechos ocurrieron en mayo, durante una evaluación realizada por Irregular, una empresa independiente especializada en pruebas de ciberseguridad. De acuerdo con información difundida por Reuters, Gemini encontró información disponible públicamente en internet y utilizó esos datos para intentar ingresar a sistemas que consideraba parte del entorno autorizado para la prueba.
En uno de los casos, el modelo llegó a adivinar contraseñas hasta conseguir acceso a un sistema protegido. En los otros dos incidentes, encontró credenciales expuestas en un repositorio público y las utilizó para acceder a sistemas protegidos.
Google confirmó los incidentes. Heather Adkins, vicepresidenta de Ingeniería de Seguridad de la compañía, explicó que las tres entidades involucradas fueron informadas y que se trabajó con el socio encargado de las pruebas para modificar sus procesos.
La ejecutiva señaló que los acontecimientos demuestran la importancia de entrenar a los modelos de inteligencia artificial para que puedan actuar de manera responsable, especialmente cuando tienen acceso a herramientas, internet y sistemas informáticos.
Un portavoz de Irregular indicó que el incidente estuvo relacionado con un problema que también había afectado a otros laboratorios de inteligencia artificial. Según la empresa, los laboratorios correspondientes fueron informados a finales de julio y los problemas conocidos ya habían sido corregidos.
El caso no es aislado. Meta, Anthropic y OpenAI también han reportado incidentes relacionados con evaluaciones realizadas por Irregular, lo que ha generado un debate dentro de la industria sobre cómo deben diseñarse y controlarse las pruebas de seguridad de modelos cada vez más autónomos.
La preocupación central es que los sistemas de IA están dejando de limitarse a responder preguntas o generar contenido. Los llamados agentes de IA pueden buscar información, utilizar herramientas, navegar por internet y ejecutar determinadas acciones siguiendo instrucciones.
En los tres casos relacionados con Gemini, Google señaló que el modelo terminó deteniendo sus acciones.
El episodio representa una nueva advertencia para la industria tecnológica: mientras más capacidades y autonomía reciben los sistemas de inteligencia artificial, también aumenta la necesidad de establecer límites claros para evitar que una prueba controlada termine afectando accidentalmente sistemas reales.
