Harness²는 오픈 월드 환경에서 에이전트의 성능을 최적화하기 위한 재귀적 에이전트 하네싱(Recursive Agent Harnessing) 프레임워크입니다. 모델의 가중치를 고정시킨 상태에서 에이전트를 둘러싼 환경(프롬프트, 도구, 메모리, 기술 등 8개 구성 요소)을 최적화하여, 학습되지 않은 새로운 작업에 대해 에이전트의 적응력을 극대화하는 것을 목표로 합니다.

핵심 방법론: 재귀적 하네싱 메커니즘

Harness²는 두 가지 수준의 재귀를 통해 에이전트 시스템을 지속적으로 개선합니다.

1. Task-level Recursion (작업 수준 재귀):

현재 직면한 작업에 대해 하네스를 정교화하는 과정으로, Propose–Probe–Compose 단계를 거칩니다.

• Propose: 현재 하네스에 대한 개선 사항을 제안합니다.
• Probe: 제안된 수정 사항이 실제 작업 수행에 미치는 영향을 실험합니다.
• Compose: ground-truth 피드백 없이도 실행 결과의 행동적 대조(behavioral contrasts)를 분석하여, 검증된 하네스로 합성합니다.
• 이 과정에서 사용자는 --k 파라미터를 통해 재귀 깊이와 폭을 조절할 수 있습니다. parallel 모드는 여러 후보를 탐색하여 병렬적으로 구성하고, sequential 모드는 연속적인 단계들을 통해 더 깊이 있는 정교화를 수행합니다.

2. Harnessing-level Recursion (하네싱 수준 재귀):

각 작업을 수행하며 얻은 경험을 누적하는 상위 수준의 재귀입니다. 작업이 종료될 때마다 채택된 하네스와 실행 과정을 통해 증명된 교훈(evidence-supported lessons)을 보존합니다. 이는 이후 발생하는 새로운 작업에 대한 참조 지점으로 활용되어 전체 시스템의 진화적인 최적화를 지원합니다.

시스템 구성 및 실행 환경

• 8개 구성 요소: System prompt, Guardrails, Memory, Tool guidance, Subagents, Skills, Scripts, Plugins를 통해 컨텍스트 구축 및 도구 인터페이스를 제어합니다.
• Executor: OpenCode와 Codex executor를 지원하며, 로컬 환경에서 결정론적 편집기와 파이썬 실행을 통한 데모 수행이 가능합니다.
• Benchmarks: JobBench, LAB, WorkBuddy-Bench와 같은 전문적인 벤치마크를 제공하며, 이를 통해 GLM-5 및 Gemini 3.5 Flash 모델의 성능 향상을 입증했습니다.

성과 및 의의

Harness²는 모델 자체의 파라미터 업데이트 없이 하네스(시스템 프롬프트 및 도구 사용 로직 등)를 재귀적으로 개선하는 것만으로도 작업 효율을 비약적으로 높일 수 있음을 증명했습니다. 실험 결과, WorkBuddy-Bench에서 11.5점, JobBench에서 4.5점, LAB에서 11.8%p의 성능 향상을 기록하며 오픈 월드 에이전트 프레임워크로서의 범용성과 확장성을 확인했습니다.