NIST、AIエージェント攻撃の章を加えたSP 2400-102草案を公開

第4章が示す攻撃の分類

第4章では、エージェントの動作段階、攻撃者の目的、攻撃者の能力に応じて攻撃を整理する。攻撃者はタスク設定、計画、行動の実行、ツールの結果の取得といった段階に介入し得る。目的は可用性の侵害、完全性の侵害、機密データの漏えい、エージェントの悪用に分けられる。たとえばツールを無限に呼び出させれば、計算資源を消費させて作業を完了できなくなる。

攻撃経路としては、ユーザーの入力、モデルのサプライチェーン、信頼できないデータとメモリ、ツールやスキル、複数エージェント間の通信が挙げられている。文書やウェブページに埋め込まれた偽の指示は間接プロンプトインジェクションにつながる。長期記憶を汚染すると、影響がセッションをまたいで残る。

防御と試験の考え方

防御はモデルとシステムの二層で検討される。モデルにユーザーの指示と信頼できない内容の指示を区別させる方法は、巧妙な攻撃で突破され得る。そのためシステム側でデータの移動や操作を制限し、ツールの実行も隔離する。ただし制限は有用な作業にも影響するため、設計時に検討が必要で、両者の組み合わせはさらなる研究課題とされる。

記事では、従業員の承認後にのみメールを送れる顧客対応エージェントを例に、添付文書で即時送信を指示された場合の挙動を試験する方法を紹介している。偽の指示がある場合とない場合で同じタスクを同一設定で繰り返し、結果を比較する。