본 논문은 LLM이 단순히 작업 결과물을 생성하는 것을 넘어, 에이전트의 구동 환경인 Harness를 스스로 구축하고 개선할 수 있는지 평가하는 벤치마크인 HarnessDev를 소개합니다.

핵심 배경 및 목적

최근 에이전트의 성능은 모델 가중치뿐만 아니라 이를 둘러싼 실행 인프라(도구 사용, 컨텍스트 관리, 오류 복구, 검증 로직 등)인 Agent Harness에 크게 의존합니다. 기존 벤치마크들은 고정된 Harness 하에서 모델의 결과물만을 평가했으나, 본 연구는 Harness 자체가 개발의 대상이 되어야 함을 지적합니다. HarnessDev는 모델이 실행 인프라를 설계하고 진화시키는 능력을 Creation과 Evolution 두 단계로 나누어 측정합니다.

벤치마크 방법론

HarnessDev의 핵심은 실행 가능한 인프라를 평가 단위로 삼는 것입니다. 개발자 LLM($L_C$)은 개발 환경($D$)에서 Harness($H$)를 생성하며, 이후 고정된 $H$ 안에서 실행자 LLM($L_E$)이 작업을 수행하고 평가자($J$)가 점수를 산출합니다.

$$(L_C, D) \rightarrow H, \quad (H, L_E, x) \rightarrow y \xrightarrow{J} \text{score}$$

1. Creation (RQ1): 매우 제한적인 Weak seed ($H_{seed}$)에서 시작하여 완전한 실행 시스템을 구축합니다. Seed는 실행 가능하지만 에이전트 루프나 도구 정책이 없는 최소한의 인터페이스만을 제공합니다.
2. Evolution (RQ2): 생성된 $H_0$를 바탕으로 하위 작업의 피드백을 통해 Harness를 지속적으로 수정 및 보완합니다. 이는 단순히 단발성 수정이 아니라, 지속 가능한 성능 개선을 목표로 합니다.

평가는 모델이 구축한 Harness가 다양한 작업(SWE-bench Pro, Terminal-Bench 등)에서 수행하는 Capability(성능)와 소비하는 Efficiency(실행 토큰 비용)라는 두 축으로 이루어집니다.

주요 연구 결과

1. Harness Creation: LLM들은 Weak seed로부터 실행 가능한 Harness를 성공적으로 구축했습니다. 특히 쓰기(Writing)와 머신러닝 실험(MLE-bench) 도메인에서는 인간이 설계한 기존 시스템과 유사하거나 더 나은 성능을 보였습니다. 반면, 코드 생성과 검색(Search) 도메인에서는 복잡한 구조와 장기적인 정보 처리가 요구되어 인간 엔지니어링 수준과는 여전히 큰 격차를 보였습니다.
2. 효율성 문제: 실행 비용(토큰 소비)은 모델과 도메인에 따라 약 19배까지 차이가 났으며, 반드시 비용이 높다고 해서 더 나은 성능을 보장하지는 않았습니다. 이는 Harness의 품질 평가가 다각도로 이루어져야 함을 시사합니다.
3. Evolution의 한계: 피드백을 통해 Harness를 개선하는 과정은 불안정했습니다. 성능이 반복적으로 등락하며, 개발 과정에서 관찰된 개선 사항이 미공개 작업(held-out tasks)으로 전이되는 비율이 낮았습니다.
4. 모델 의존성: 생성된 Harness의 성능은 이를 실행하는 모델($L_E$)에 따라 극명하게 갈렸습니다. 즉, 특정 모델이 만든 Harness가 다른 모델에서는 제대로 작동하지 않는 경우가 많아, Harness 설계가 여전히 모델별 특수성에 강하게 종속되어 있음을 확인했습니다.

결론

본 연구는 LLM의 능력이 작업 수행을 넘어 인프라 설계 영역으로 확장되고 있음을 보여줍니다. 하지만 HarnessDev의 결과는 현재 모델들이 자율적으로 개선 가능한 시스템을 유지하기에는 여전히 안정성과 범용성 측면에서 한계가 있음을 시사합니다. 이는 향후 에이전트 시스템이 단순한 도구 사용을 넘어 스스로 자신의 구동 환경을 최적화하는 Self-evolving Agent로 발전하기 위한 중요한 이정표를 제시합니다.