Nvidia araştırması: Bağlamı özetlemek yapay zekâ ajanı başarımını koruyor

Testlerde ne çıktı?

Ekip, konuşma belirli bir uzunluğa ulaşınca özetleyip işe devam etme yöntemini denedi. SWE-bench Verified, Terminal-Bench 2.1, FRAMES ve BFCLv3 gibi altı uzun görev testinde ağırlıklı olarak Claude Opus 4.5 ve GPT 5.6 Sol kullanıldı. Bağlam sınırı ile özetleme başlangıç uzunluğunun değiştirildiği 22 ayarın en fazla beşinde başarım, referansın 2 puandan fazla altına düştü. Her konuşmada tek eylem yapılıp yalnızca sıkıştırılmış görev durumu aktarıldığında Claude Opus 4.5'in kodlama puanı 70,0'dan 70,2'ye çıktı, GPT 5.6 Sol ise 84,4'ten 82,4'e geriledi.

1.600 soruluk LOONG testinde, tüm belgeler verildiğinde Claude Opus 4.5 ortalama 70,1 puan ve yüzde 38,9 tam doğru oranı aldı. Yalnızca gerekli bölümler seçilip özetlenerek bağlam 16 bin token altında tutulunca skor 79,3 puana, tam doğru oranı yüzde 53,4'e yükseldi.

Yöntem her modelde işlemedi: ekte yer alan Qwen3 Coder Next, 16K ayarıyla özetlemede kodlama görevi başarısı yüzde 53,0'dan yüzde 3,6'ya düştü. Makale bunu «felaket düzeyinde çöküş» olarak niteliyor.

Araştırmacılar ayrıca, doğal dille yazılmış görev durumunu okuyup eyleme geçen ve bu açıklamayı yeniden yazan, ek eğitimli bir «Semantic State Space Model» önerdi; ancak model eğitilmedi ve değerlendirilmedi, yalnızca kavram aşamasında. Makale, bulguların uzun bağlamlı dil modellerine duyulan ihtiyacı sorguladığını belirtiyor. Ajan kullanan şirketler için maliyet ve kaliteyi bağlamın uzunluğundan çok, neyin tutulup neyin özetleneceği belirleyebilir.