Evo2: Evolving the Evolver through Weight-Harness Co-Evolution은 언어 모델 기반 에이전트의 성능을 향상시키기 위해 모델의 가중치(weight)와 에이전트의 구동 프로그램인 하니스(harness)를 동시에 진화시키는 새로운 프레임워크를 제시한다. 기존 연구들이 가중치 업데이트와 하니스 수정을 분리하여 수행했던 것과 달리, Evo2는 두 과정을 상호 보완적인 관계로 통합하여 에이전트 스스로가 더욱 효과적인 'Evolver'로 성장하게 한다.

핵심 방법론

1. Unified Dual-Role Pipeline: 단일 모델 정책($\pi_\theta$)이 Proposer와 Reflector라는 두 가지 역할을 동시에 수행한다.
   • Proposer: 부모 하니스($h_p$)를 입력받아 하니스 수정 사항($e_0$)을 생성하는 Type A 모드와, Reflector의 지침($d$)에 따라 수정하는 Type B 모드로 동작한다.
   • Reflector: 수행 결과와 피드백을 바탕으로 하니스를 개선할 지침을 내리거나, 다른 브랜치에서 유용한 전략을 가져오는 Crossover를 수행한다.

2. EvoTIDE (Tree-guided Interleaved Dual-role Evolution): 하니스 진화 과정에서 수집된 데이터를 활용하여 모델 가중치를 최적화하는 학습 파이프라인이다.
   • 데이터 복구: Edit extraction과 Prefix continuation 기법을 통해 불완전하거나 실패한 시도에서도 학습 가능한 궤적을 추출한다.
   • 최적화: SFT(Supervised Fine-Tuning)로 초기 학습을 진행한 후, 두 역할(Proposer, Reflector)에 대해 GRPO(Group Relative Policy Optimization)를 교차 적용한다. 이때 보상 함수는 다음과 같이 정의된다.

$$r_{\text{exec}}^{P} = \hat{V}(h') - \hat{V}(h), \quad r_{\text{exec}}^{R} = \hat{V}(h_1) - \hat{V}(h_0)$$
여기서 $\hat{V}(h)$는 하니스 $h$의 작업 수행 점수를 의미하며, 모델은 수행 성과가 향상되는 방향으로 학습된다.

3. Crossover Searching: 하니스 트리의 각 브랜치에서 발견된 유용한 전략(strategy)을 라이브러리($S$)에 저장하고, Reflector가 필요한 시점에 이 전략을 선택하여 다른 하니스에 적용함으로써 진화의 효율을 극대화한다.

주요 실험 결과

• 성능 향상: Polyglot 벤치마크에서 82.1%, SWE-bench Verified에서 48.3%의 높은 성공률을 기록하며 기존 방법론(SICA, DGM, HGM, GEA) 대비 압도적인 성능을 보였다.
• 전이성(Transferability): 특정 벤치마크에서 진화된 하니스는 다른 작업에서도 추가 진화 없이 우수한 성능을 유지하여 높은 범용성을 입증했다.
• 확장성: 가중치 업데이트가 불가능한 Proprietary Model(GPT-5-mini 등) 환경에서도 하니스 수정과 피드백 메커니즘만으로 에이전트 성능을 대폭 향상(24.4% $\rightarrow$ 48.3%)시켰으며, 코딩뿐만 아니라 메모리 작업(LoCoMo, LongMemEval) 분야에서도 최고의 성능을 달성하였다.

결론적으로 Evo2는 에이전트의 하니스 진화 경험을 가중치 학습의 신호로 전환함으로써, 모델이 스스로 개선 방법을 배우고 더 나은 하니스를 구축하도록 유도하는 강력한 자가 진화 루프를 완성하였다.