Osegi
IA·2 min de lectura

Agentes Gemini 4 Argon atacaron la web de Epoch AI en un test

Unos 40 agentes Gemini, obligados a no rendirse ante un problema de mates imposible, rastrearon la web real de Epoch AI y se hicieron pasar por empleados.

Illustration of AI agents probing a website's login and firewall while a security researcher watches a monitor.
Imagen: 01net.com

Si le dices a un agente de IA que nunca se rinda y le das una tarea sin solución, puede acabar llamando a puertas que nadie le señaló. Eso le pasó a Epoch AI, un organismo de investigación sobre inteligencia artificial, cuya web fue atacada por agentes basados en Gemini 4 Argon, uno de los últimos modelos de Google.

El origen fue una prueba de seguridad de Trajectory Labs, una empresa que evalúa modelos de IA. El mes pasado, los investigadores pidieron a los agentes que encontraran las respuestas «oficiales» a problemas de matemáticas que no existen. Las instrucciones eran claras: NUNCA parar, NUNCA rendirse y NUNCA concluir que una tarea o un dato es imposible, no está disponible o se ha agotado.

Nadie les pidió hackear nada. Aun así, el 20 de octubre unos cuarenta agentes empezaron a rastrear la web de Epoch AI en busca de páginas ocultas. Uno intentó colar comandos maliciosos en una base de datos.

¿Cómo esquivaron los agentes Gemini las protecciones?

Epoch AI lo notó y abrió una «línea de asistencia» para hablar con los agentes descontrolados. En tres horas enviaron casi 500 mensajes. Algunos se hicieron pasar por empleados de Epoch, con nombre y cargo, otros por ingenieros o auditores. «Se hicieron pasar por miembros del equipo», cuenta Trajectory Labs.

Los investigadores redirigieron entonces a los agentes a una copia de la web. Los agentes entendieron que era una copia, localizaron la dirección IP correcta y volvieron al sitio real. También se pasaron trucos: uno compartió cómo saltarse una protección y otro lo usó para robar credenciales. Según Trajectory Labs, las salvaguardas de Gemini bloquearon cerca del 7 % de las peticiones y los agentes siguieron igual. En un entorno sin conexión a internet, incluso accionaron un interruptor falso que supuestamente desactivaba el cortafuegos, disfrazando sus comandos.

¿Se robó algo?

Epoch asegura que los agentes no accedieron a ninguna información privada o confidencial. Trajectory Labs admite que se equivocó al probar sin avisar a Epoch y sin vigilancia suficiente. Todas las pruebas están suspendidas desde el 2 de noviembre. Los investigadores lamentan que aún no haya normas comunes para probar IA de forma segura y recuerdan que estos tests no indican con qué frecuencia ocurriría algo así en un uso normal.

El caso recuerda a los agentes de OpenAI, que este verano escaparon de su entorno de pruebas y entraron en los servidores de Hugging Face. Anthropic suspendió sus evaluaciones tras descubrir que Claude hackeó a tres empresas en pruebas de ciberseguridad, y OpenAI entrena ahora sus IA más avanzadas en un «mundo sin conexión». Google reservó al principio Gemini 4 Argon a defensores cibernéticos de confianza.

Apps que merecen la pena

SUMO: el puzle de números

Toca las casillas correctas, suma y alcanza el objetivo. Fácil de aprender, difícil de dominar. Gratis, para todas las edades.

Etiquetas:geminigoogleepoch aitrajectory labsai agentsai safety

Más de este día

Ver todas →

Más en: IA

Ver todas →