Nvidia: суммаризация контекста сохраняет качество ИИ-агентов

Что показали тесты

Команда проверила подход, при котором по достижении заданной длины диалог резюмируется, и работа продолжается. На шести длинных тестах, включая SWE-bench Verified, Terminal-Bench 2.1, FRAMES и BFCLv3, использовались главным образом Claude Opus 4.5 и GPT 5.6 Sol. Из 22 конфигураций с разным лимитом контекста и порогом начала суммаризации не более пяти показали падение больше чем на 2 балла относительно базового уровня. Когда на каждый диалог выполнялось одно действие и дальше передавалось лишь сжатое состояние задачи, Claude Opus 4.5 в тесте на решение программных задач получил 70,2 балла против 70,0, а GPT 5.6 Sol — 82,4 против 84,4.

На тесте LOONG из 1600 вопросов по нескольким длинным документам Claude Opus 4.5 с полным набором материалов набрал в среднем 70,1 балла и 38,9% полностью верных ответов. Когда модель выбирала нужные фрагменты, резюмировала их и держала контекст в пределах 16 тысяч токенов, результат вырос до 79,3 балла и 53,4%.

Подход работает не для всех моделей. В приложении указано, что Qwen3 Coder Next при суммаризации в режиме 16K показала падение успешности в программных задачах с 53,0% до 3,6%; авторы называют это «катастрофическим обвалом».

Кроме того, исследователи предложили «Semantic State Space Model» — модель, дообученную читать описание состояния задачи на естественном языке, действовать и переписывать это описание. Пока это лишь концепция: её не обучали и не оценивали. По словам авторов, результаты ставят под сомнение необходимость языковых моделей с длинным контекстом. Для компаний, использующих ИИ-агентов, это значит, что на стоимость и качество может влиять не длина контекста, а то, что в нём остаётся.