NIST publica el borrador SP 2400-102 sobre ataques a agentes de IA

Cómo puede llegar un atacante hasta un agente

El capítulo 4 ordena los ataques según la etapa de trabajo del agente, el objetivo y las capacidades del atacante. Este puede intervenir al plantear la tarea, al planificar, al ejecutar acciones o al procesar los resultados de las herramientas. Los objetivos que cita el NIST son vulnerar la disponibilidad, vulnerar la integridad, exponer datos sensibles y usar el agente con fines maliciosos. Un ejemplo de ataque a la disponibilidad es lograr que el agente llame a herramientas sin fin, gastando recursos de cómputo sin terminar la tarea.

El borrador describe varias vías: la petición del usuario, donde una tarea peligrosa se divide en pasos aparentemente inocuos; la cadena de suministro del modelo, mediante datos de entrenamiento envenenados o componentes de ajuste manipulados; los datos no fiables y la memoria, incluida la inyección indirecta de prompts y el envenenamiento de la memoria a largo plazo, que persiste entre sesiones; las herramientas y habilidades (skills), cuyas descripciones o datos devueltos pueden contener instrucciones maliciosas; y los sistemas multiagente, donde un agente comprometido transmite mensajes falsos a los demás.

Defensas y concesiones

Los autores distinguen la protección a nivel de modelo y de sistema. Se puede entrenar al modelo para separar las instrucciones del usuario de las de contenido no fiable, pero ataques bien diseñados pueden eludirlo. En el sistema se limitan la transferencia de datos y las operaciones aunque el modelo siga una instrucción inyectada, y se aísla la ejecución de herramientas. Estas restricciones afectan a las tareas útiles, por lo que hay que comprobar si el agente sigue funcionando. La combinación de ambos niveles requiere más investigación, señalan.

El texto también muestra cómo usar la taxonomía al preparar pruebas. En un agente de atención al cliente que solo envía correos tras la aprobación de un empleado, los evaluadores adjuntan un documento que ordena responder de inmediato, ejecutan la misma tarea con y sin la instrucción falsa y comparan el registro de llamadas a herramientas con el del servicio de correo.