Nvidia: streszczanie kontekstu nie psuje wydajności agentów AI

Wyniki testów

Zespół sprawdził metodę, w której po osiągnięciu zadanej długości rozmowa jest streszczana, a praca trwa dalej. Testy obejmowały sześć zadań, m.in. SWE-bench Verified, Terminal-Bench 2.1, FRAMES i BFCLv3, głównie na Claude Opus 4.5 i GPT 5.6 Sol. Spośród 22 konfiguracji z różnymi limitami kontekstu i progami streszczania nie więcej niż pięć obniżyło wynik o ponad 2 punkty. Gdy model wykonywał jedną akcję na rozmowę i przekazywał dalej tylko skompresowany stan zadania, Claude Opus 4.5 uzyskał w SWE-bench 70,2 pkt wobec 70,0, a GPT 5.6 Sol 82,4 pkt wobec 84,4.

W teście LOONG, obejmującym 1600 pytań do wielu długich dokumentów, Claude Opus 4.5 z pełnym materiałem uzyskał średnio 70,1 pkt i 38,9 proc. w pełni poprawnych odpowiedzi. Gdy wybierał potrzebne fragmenty, streszczał je i trzymał kontekst poniżej 16 tys. tokenów, wynik wzrósł do 79,3 pkt i 53,4 proc.

Metoda nie działa jednak na każdym modelu. W dodatku do pracy Qwen3 Coder Next przy streszczaniu w ustawieniu 16K spadł w zadaniach programistycznych z 53,0 proc. do 3,6 proc. — autorzy piszą o „katastrofalnym załamaniu”.

Autorzy proponują też „Semantic State Space Model”, czyli model dotrenowany do czytania opisu stanu zadania w języku naturalnym, działania i przepisywania tego opisu. To na razie tylko koncepcja, niewytrenowana ani nieprzetestowana. Według abstraktu wyniki „podają w wątpliwość potrzebę modeli z długim kontekstem”. Dla firm korzystających z agentów AI oznacza to, że o kosztach i jakości może decydować to, co zostaje w kontekście, a nie jego długość.