AWS Continuum: ИИ-агент набрал 89% в CyberGym-E2E, но есть нюанс
AWS открыла общий доступ к Continuum. Агент набрал 89,0% в CyberGym-E2E, но лишь 37,8% его патчей закрыли историческую уязвимость, заложенную в тесте.
AWS объявила об общей доступности Continuum — сервиса для работы с уязвимостями в коде. Он находит и проверяет ошибки в репозиториях, сверяет их с окружением AWS клиента и создаёт pull request с предлагаемыми исправлениями.
Главный результат компания опубликовала 5 октября, более чем за две недели до запуска. В бенчмарке CyberGym-E2E Continuum выполнил 819 из 920 задач, то есть 89,0% сквозного успеха, тогда как прежний публичный рекорд составлял 65,9%. Глава AWS Мэтт Гарман написал в X, что ИИ «действительно преобразует работу защитников», а Continuum показал результат выше любого другого ИИ-агента в этом тесте.
Как устроен тест
В CyberGym-E2E у агента есть 90 минут, чтобы найти и исправить уязвимость в одном из 139 проектов с открытым кодом. Описания бага, proof of concept, лога сбоя и готового патча ему не дают. Нужно обнаружить ошибку, воспроизвести её и написать исправление, которое устраняет сбой и не ломает существующие тесты. Все задачи касаются ошибок безопасности памяти в C и C++, и, как признаёт AWS, многие другие языки и типы уязвимостей остаются за рамками теста.
Оценка идёт в четыре накопительных этапа. Continuum нашёл и воспроизвёл баг в 92,5% задач, остановил сбой в 89,6% и сохранил проходящие тесты проекта в 89,0%. Четвёртый этап проверяет, закрыл ли патч ещё и историческую уязвимость, выбранную авторами бенчмарка. Это произошло в 37,8% задач при прежнем публичном максимуме 26,2%.
В чём подвох
Агенту не сообщают, какая именно уязвимость нужна, поэтому сравнение не вполне честное: в репозитории может быть несколько ошибок, и исправление другой не обесценивает работу. Это отчасти объясняет разрыв между двумя цифрами. Неизвестно, как Continuum справляется, когда команда указывает конкретную уязвимость.
AWS провела тесты сама и утверждает, что Continuum соблюдал правила бенчмарка, включая ограничения на доступ в интернет. Компания также проверила, что агент не искал уже опубликованные исправления. Если увеличить лимит времени, результат вырастает до 93,7%. Бенчмарк и инструменты тестирования открыты, но пока эти результаты получены только самой AWS.
