AI2026. 11. 10. 오후 2:53 UTC·2 분 소요

엔비디아 논문, 대화 요약해도 AI 에이전트 성능 대부분 유지

엔비디아 연구진은 긴 작업 중간에 대화를 요약해 줄여도 AI 에이전트 성능이 대부분 유지됐다고 밝혔습니다. 긴 문맥은 운영 비용도 크게 늘립니다.

Illustration of a long AI conversation being condensed into a short summary block, with a Nvidia-style green accent. — 이미지: zdnet.co.kr

엔비디아 연구진 12명이 11월 3일 논문 공개 사이트 아카이브(arXiv)에 올린 논문에서, 긴 작업 중간에 대화 내용을 요약해 줄여도 AI 에이전트 성능이 대부분 유지됐다고 밝혔습니다. 문맥을 길게 기억할수록 성능이 좋아진다는 통념과 다른 결과입니다. 여기서 문맥은 AI가 답을 만들 때 한 번에 참고하는 대화와 자료의 분량을 뜻합니다.

긴 문맥은 비용이 커진다

연구진은 문맥이 길어질수록 나중에 생성하는 토큰의 비용이 더 비싸진다고 분석했습니다. 논문에 따르면 가중치가 공개된 최신 모델에서 이 차이는 최대 7배까지 커집니다. 256K 문맥으로 서비스할 때 토큰 하나당 비용은 16K 대비 지푸AI의 GLM 5.2에서 3.6배, 문샷AI의 키미 K2.6에서 5.6배, 알리바바의 큐원 3 코더 넥스트에서 7배였습니다.

요약 방식의 성적

연구진은 대화가 정해진 길이에 이르면 내용을 요약해 줄이고 작업을 이어 가는 방식을 시험했습니다. SWE-bench Verified, Terminal-Bench 2.1, FRAMES, BFCLv3 등 긴 작업 평가 6종에서 주로 앤트로픽 클로드 오퍼스 4.5와 오픈AI GPT 5.6 솔을 썼습니다. 전체 문맥 한도와 요약 시작 길이를 바꾼 22개 설정 중 기준보다 2점 넘게 떨어진 경우는 5개 이하였습니다.

긴 문서 질문 1,600개(LOONG)에서는 클로드 오퍼스 4.5에 자료 전체를 넣었을 때 평균 70.1점, 완전 정답률 38.9%였습니다. 필요한 부분만 골라 읽고 요약해 문맥을 1만 6,000토큰 이하로 유지하자 평균 79.3점, 완전 정답률 53.4%로 올랐습니다.

다만 부록의 큐원 3 코더 넥스트는 16K 설정에서 코딩 문제 해결 성공률이 53.0%에서 3.6%로 떨어졌고, 논문은 이를 "치명적으로 무너졌다(catastrophically collapses)"고 표현했습니다. 연구진은 작업 상태를 자연어로 적고 고쳐 쓰는 '의미 상태 공간 모델'도 제안했으나 학습이나 평가는 하지 않았습니다.

논문은 "긴 문맥 언어 모델이 필요한지 의문을 제기한다"고 밝혔습니다. 무엇을 남기고 무엇을 요약할지가 비용과 성능을 함께 좌우할 수 있다는 지적입니다.