AgentOCR: Reimagining Agent History via Optical Self-Compression

AgentOCR은 다중 턴(multi-turn) LLM 에이전트 학습 과정에서 발생하는 급격한 텍스트 히스토리 증가 문제를 해결하기 위해 고안된 프레임워크입니다. 에이전트의 관찰(observation)과 행동(action) 히스토리를 텍스트가 아닌 '압축된 렌더링 이미지'로 표현함으로써, 토큰 소비량을 획기적으로 줄이면서도 에이전트의 성능을 유지하는 혁신적인 접근 방식을 제시합니다.

핵심 방법론

1. Visual Token Representation (시각적 토큰 표현):
   • 텍스트 기반의 방대한 에이전트 로그를 고밀도 시각 정보로 변환하여 처리합니다. 이는 텍스트 토큰의 중복성을 제거하고 정보 밀도를 높임으로써, 50% 이상의 토큰 절감 효과를 달성하면서도 기존 성능의 95% 이상을 보존합니다.

2. Segment Optical Caching (세그먼트 광학 캐싱):
   • 렌더링 속도를 가속화하기 위해 해시 가능한(hashable) 세그먼트 분해 방식을 채택합니다.
   • 개별 상태 변화를 시각적 캐시로 관리하여, 에이전트가 히스토리를 생성할 때 전체를 다시 그리지 않고도 재사용할 수 있도록 함으로써 렌더링 성능을 20배 이상 향상시킵니다.

3. Agentic Self-Compression (에이전트 자가 압축):
   • 에이전트가 스스로 최적의 압축률을 결정하도록 유도하는 강학 학습 기반의 접근 방식입니다.
   • Compression-aware Reward Training을 통해 에이전트는 작업 수행의 정확도와 토큰 효율성 사이의 균형을 학습하며, 상황에 맞는 가변적인 압축 수준을 능동적으로 배출(emit)합니다.

기술적 구현 및 환경

• Infrastructure: 본 연구는 veRL(LLM RL 학습 프레임워크) 및 verl-agent를 기반으로 구축되었습니다.
• Environments:
  • ALFWorld: Embodied AI 작업을 위해 MaskRCNN 탐지기 등을 활용한 복합 환경을 지원합니다.
  • Search-R1: 검색 기반 질의응답(Search-based QA) 태스크를 위해 faiss-gpu 기반의 로컬 검색 서버를 활용하며, 대규모 위키피디아 인덱싱 데이터를 처리합니다.
• Optimizations: vllm, flash-attn과 같은 고성능 라이브러리를 통해 대규모 모델의 추론 및 학습 가속을 지원합니다.

결론

AgentOCR은 에이전트 기억 장치의 용량 한계를 시각적 표현으로 극복한 연구입니다. 텍스트 토큰을 단순히 줄이는 것을 넘어, 시각적 정보 처리 방식을 에이전트의 인지 구조에 통합함으로써 효율적인 장기 기억(Long-term memory) 관리와 빠른 학습 속도를 동시에 확보했다는 점에서 의의가 큽니다.