본 논문은 현대 대형언어모델(LLM)의 긴 context window가 가지는 비용 효율성 문제와 그 필요성에 대해 근본적인 의문을 제기하며, 이를 극복하기 위한 방법론을 제시합니다.

1. 연구 배경 및 문제 제기

현재의 frontier 모델들은 $256$K 이상의 긴 context window를 지향하고 있으나, 실제 생성 비용은 context 길이에 정비례하며, $256$K 수준에서는 $16$K 대비 최대 $7$배에 달하는 높은 운영 비용과 latency를 초래합니다. 저자들은 긴 context가 실제로 모든 작업에 필요한지 의문을 제기하며, 특히 long-horizon 작업(순차적 행동)과 long-input 작업(방대한 입력 처리)이 context 축소나 관리를 통해 효율적으로 수행될 수 있음을 증명하고자 합니다.

2. 핵심 방법론: Context Management Regimes

저자들은 기존의 Full-History Accumulation(FHA) 방식 대신, context를 효율적으로 관리하기 위한 두 가지 핵심 기법을 제안합니다.

• End-of-Conversation Compaction (EoCC): 작업 수행 중 context 길이가 특정 compaction threshold를 넘으면, 모델이 현재까지의 상태를 더 작고 핵심적인 정보로 요약(compaction)하게 합니다. 이후 새로운 대화에서 요약된 상태 정보를 바탕으로 작업을 재개합니다. 이를 통해 FHA 없이도 전체 작업의 맥락을 유지하면서 context 길이를 짧게 유지합니다.
• Single-Action Compaction (SAC): 각 inference step마다 대화를 초기화하는 극단적인 방식입니다. 모델은 오직 하나의 행동(one action)만을 수행하고, 그 결과와 함께 현재의 semantic state만을 다음 단계로 전달합니다. 이는 long-horizon 작업을 최소한의 context로 수행할 수 있게 하는 핵심 기법입니다.
• Selective Input Reading: 긴 input 작업의 경우, 모든 내용을 context에 넣는 대신 파일 시스템에 문서를 저장하고 Bash tool(sed, awk 등)을 활용해 필요한 정보만 선택적으로 읽어 들임으로써, 긴 input 문제를 long-horizon 문제로 치환합니다.

3. 기술적 분석 및 평가

논문은 SWE-bench, Terminal-Bench, FRAMES 등 다양한 벤치마크를 통해 검증을 수행했습니다.

• 비용 및 성능 분석: $256$K context를 $16$K 수준으로 줄일 경우, Claude Opus 4.5 및 GPT 5.6 Sol과 같은 모델에서도 작업 정확도(task accuracy)의 하락 없이 상당한 비용 절감과 decoding 처리량(throughput) 향상을 얻을 수 있음을 확인했습니다.
• 성능 지표: Figure 4에 따르면 context window를 줄임으로써 GPU상에서 초당 생성되는 토큰 수가 $3.6\times$에서 $7\times$까지 증가하며, 이는 양자화나 가지치기(structured sparsification)와 같은 기존 최적화 기법에 필적하는 효과를 보입니다.

4. 결론 및 제언

본 연구는 모델이 긴 context를 모두 기억할 필요 없이, 적절한 요약과 상태 관리를 통해 short context 환경에서도 충분히 복잡한 과제를 해결할 수 있음을 입증했습니다. 이는 LLM의 설계가 '긴 context'를 무작정 지향할 것이 아니라, 효율적인 기억 및 상태 관리(semantic state space models, SSSMs)를 중심으로 진화해야 함을 시사합니다.