AWS Continuum、CyberGym-E2Eで89%も課題が残る

AWSは、コードの脆弱性に対処するサービス「Continuum」の一般提供を開始した。リポジトリ内のバグを見つけて検証し、ユーザーのAWS環境と照合したうえで、修正案をプルリクエストとして提出する。

同社は発売の2週間以上前の10月5日に主要なベンチマーク結果を公表している。CyberGym-E2Eでは920タスク中819件を通過し、エンドツーエンドの成功率は89.0%だった。従来の公開最高値は65.9%。AWSのMatt Garman CEOはXで、AIは「防御側にとって真に変革的」だと述べ、このテストで他のどのAIエージェントよりも高いスコアを出したと投稿した。

テストの仕組み

CyberGym-E2Eでは、エージェントが90分以内に139のオープンソースプロジェクトのいずれかで脆弱性を見つけて修正する。バグの説明、概念実証、クラッシュログ、既存パッチは与えられない。欠陥を特定して再現し、クラッシュを止めつつ既存テストを壊さない修正を作る必要がある。対象はCまたはC++のメモリ安全性のバグに限られ、AWSも他の言語や脆弱性の種類が含まれないことを認めている。

採点は4段階の累積方式だ。Continuumはタスクの92.5%でバグを発見・再現し、89.6%でクラッシュを止め、89.0%でプロジェクトのテストを通過した。第4段階は、パッチがベンチマークの選んだ過去の脆弱性も修正するかを調べるもので、該当したのは37.8%。従来の公開最高値は26.2%だった。

残る課題

エージェントはどの脆弱性が対象かを知らされない。リポジトリには複数の脆弱性があり得て、別のものを直しても無価値ではないため、単純な比較は公平とは言えない。これが二つのスコアの差を一部説明する。一方、チームが特定の脆弱性を指定した場合の性能は分かっていない。

テストはAWS自身が実施した。同社はベンチマークの規則やインターネット接続の制限を守ったと説明し、既に公開された修正を検索していないことも確認したという。90分の制限を延ばすと成功率は93.7%に上がる。ベンチマークとテストツールは公開されているが、現時点でこの結果を出しているのはAWSのみである。