AWS Continuum, CyberGym-E2E 89%지만 남은 과제

AWS가 코드 취약점을 다루는 서비스 Continuum을 정식 출시했습니다. 이 서비스는 리포지토리의 버그를 찾아 검증하고, 사용자의 AWS 환경과 대조한 뒤 수정안을 담은 풀 리퀘스트를 생성합니다.

AWS는 출시 2주 이상 전인 10월 5일에 핵심 벤치마크 결과를 공개했습니다. CyberGym-E2E에서 Continuum은 920개 과제 중 819개를 통과해 89.0%의 엔드투엔드 성공률을 기록했습니다. 기존 공개 최고치는 65.9%였습니다. 맷 가먼 AWS CEO는 X에 AI가 "방어자에게 진정으로 혁신적"이라며, Continuum이 이 테스트에서 다른 어떤 AI 에이전트보다 높은 점수를 냈다고 밝혔습니다.

테스트 방식

CyberGym-E2E에서 에이전트는 90분 안에 139개 오픈소스 프로젝트 중 하나에서 취약점을 찾아 고쳐야 합니다. 버그 설명, 개념 증명, 크래시 로그, 기존 패치는 주어지지 않습니다. 결함을 식별하고 재현한 뒤, 크래시를 막으면서 기존 테스트를 깨뜨리지 않는 수정을 만들어야 합니다. 모든 과제는 C 또는 C++의 메모리 안전성 버그이며, AWS도 다른 언어와 취약점 유형은 포함되지 않는다고 인정합니다.

채점은 누적되는 4단계로 진행됩니다. Continuum은 과제의 92.5%에서 버그를 찾아 재현했고, 89.6%에서 크래시를 막았으며, 89.0%에서 프로젝트 테스트를 통과했습니다. 4단계는 패치가 벤치마크가 선정한 과거 취약점까지 해결하는지 확인하는 것으로, 37.8%가 해당했습니다. 기존 공개 최고치는 26.2%입니다.

남은 의문

에이전트는 어떤 취약점이 대상인지 알지 못하므로 단순 비교는 공정하지 않습니다. 리포지토리에는 여러 취약점이 있을 수 있고 다른 취약점을 고치는 것도 가치가 있기 때문에, 두 점수의 차이가 일부 설명됩니다. 다만 팀이 특정 취약점을 지정했을 때 Continuum이 얼마나 잘 작동하는지는 아직 알 수 없습니다.

테스트는 AWS가 직접 수행했습니다. 회사는 인터넷 접속 제한 등 벤치마크 규칙을 지켰고, 이미 공개된 수정 사항을 검색하지 않았는지도 확인했다고 밝혔습니다. 시간을 더 주면 성공률은 93.7%로 오릅니다. 벤치마크와 테스트 도구는 공개되어 있지만, 현재까지 이 결과는 AWS만 내놓은 것입니다.