NIST, AI 에이전트 공격 다룬 SP 2400-102 초안 공개

4장이 정리한 공격 유형

4장은 에이전트의 작업 단계, 공격자의 목표, 공격자의 능력에 따라 공격을 구분합니다. 공격자는 과업 설정, 계획 수립, 작업 실행, 도구 결과 수신 단계에 개입할 수 있습니다. 목표는 가용성 침해, 무결성 침해, 민감 데이터 유출, 에이전트의 악의적 이용으로 나뉩니다. 예를 들어 도구를 무한히 호출하게 하면 연산 자원이 소모되고 작업을 끝내지 못합니다.

공격 경로로는 사용자 요청, 모델 공급망, 신뢰할 수 없는 데이터와 메모리, 도구와 스킬, 다중 에이전트 간 통신이 제시됩니다. 문서나 웹페이지에 숨긴 가짜 지시는 간접 프롬프트 인젝션으로 이어지고, 장기 메모리를 오염시키면 영향이 세션을 넘어 지속됩니다.

방어와 시험 방법

방어는 모델과 시스템 두 수준에서 논의됩니다. 사용자 지시와 신뢰할 수 없는 콘텐츠의 지시를 구별하도록 모델을 훈련하더라도 정교한 공격은 이를 우회할 수 있습니다. 그래서 시스템 차원에서 데이터 전달과 작업 실행을 제한하고 도구 실행을 격리합니다. 다만 제한은 유용한 작업에도 영향을 주며, 두 방어의 결합은 추가 연구가 필요하다고 저자들은 밝혔습니다.

기사는 직원 승인 후에만 메일을 보낼 수 있는 고객 응대 에이전트를 가정해, 첨부 문서가 즉시 발송을 지시할 때의 동작을 시험하는 방법도 소개합니다. 가짜 지시가 있을 때와 없을 때 같은 설정으로 같은 작업을 반복해 비교합니다.