원문 보기
Recursive Synthesis for Long-Horizon Terminal Tasks
Paper

Recursive Synthesis for Long-Horizon Terminal Tasks

Ninghao Liu
2026.08.09
·Arxiv·by JunhaRyu
#Agent#LLM#Long-Horizon Tasks#Reinforcement Learning#Synthetic Data

핵심 포인트

  • 1이 논문은 검증된 Seed tasks를 재귀적으로 확장하여 대규모의 고품질 장기 추론 Terminal-agent 데이터셋을 자동으로 합성하는 RST(Recursive Synthetic Terminal Tasks) 프레임워크를 제안합니다.
  • 215번의 재귀적 합성 과정을 통해 37,484개의 검증된 Task를 생성하였으며, 모델 평가에서 pass rate가 낮아질 만큼 난이도가 실질적으로 상승함에도 불구하고 데이터 생성 성능은 안정적으로 유지되었습니다.
  • 3합성된 데이터로 Qwen3.5 모델을 SFT 및 PPO 방식으로 학습시킨 결과, Terminal-Bench 2를 비롯한 벤치마크들에서 최대 10포인트 이상의 성능 향상을 달성하며 모델의 agentic 능력을 크게 개선했습니다.

본 논문은 대규모 언어 모델(LLM) 기반 터미널 에이전트의 성능 향상을 위한 고품질 장기(long-horizon) 학습 데이터셋을 자동 생성하는 Recursive Synthetic Terminal Tasks (RST) 프레임워크를 제안합니다. 터미널 에이전트는 명령어 실행, 환경 관리, 피드백 기반의 복잡한 워크플로우를 처리해야 하므로 검증된 실행 가능 데이터를 구축하는 데 막대한 비용과 인간의 노력이 수반되는 문제가 있습니다.

핵심 방법론

RST는 인간의 개입 없이 검증된 시드(seed) 작업으로부터 반복적으로 더 어려운 작업을 합성하는 재귀적 검증 합성(recursive verified synthesis) 방식을 취합니다.

  1. 합성 프로세스:
    • 타겟 선택(Target Selection): 40개의 재작성 연산자(rewrite operator) 세트에서 작업을 확장할 방향을 결정합니다.
    • 확장 및 정렬(Grow & Align): 기존 Reference Solution을 확장하여 더 복잡한 워크플로우를 구성합니다. 이후 새로운 작업 흐름에 맞춰 verifier와 instruction을 재조정(realign)하고, environment를 업데이트합니다.
    • 검증(Validation): 정적 분석과 더불어 격리된 샌드박스(sandbox) 환경에서 Oracle Validity(참조 솔루션이 검증기를 통과하는지)와 Contract Validity(지시사항과 검증기가 일치하는지)를 확인합니다. 통과된 작업만 다음 라운드의 시드로 재사용됩니다.
  1. 재귀적 성장:
    • 15라운드에 걸쳐 639개의 초기 시드에서 총 37,484개의 검증된 터미널 작업을 생성했습니다.
    • 작업의 복잡도는 라운드가 거듭될수록 체계적으로 증가합니다. Median 기준으로 Reference Solution은 67행에서 374행으로, 실행 명령어(executed commands) 수는 40개에서 244개로 성장했습니다. 반면, Instruction 길이는 1.4배만 증가하여 작업의 실제 실행 복잡도가 훨씬 효율적으로 심화되었음을 보여줍니다.

성능 및 결과

  • 모델 평가: DeepSeek-V4-Pro 모델의 Pass@4 성능은 R1 라운드에서 90%였으나 R15 라운드에서는 2.5%로 하락하여, 모델이 해결하기 매우 어려운 수준의 난이도까지 성공적으로 확장되었음을 입증했습니다.
  • 학습 활용성: 합성된 데이터를 사용하여 Qwen3.5-27B 및 Qwen3.5-122B-A10B 모델을 Supervised Fine-Tuning(SFT)한 결과, Terminal-Bench 2, Terminal-Bench Hard, Long-Horizon Terminal Bench 등에서 최대 10점의 성능 향상을 기록했습니다.
  • Reinforcement Learning: Agentic PPO 기법을 적용했을 때 Qwen3.5-27B 모델은 베이스라인 대비 각각 20.0%, 41.2%, 21.9%의 상대적 성능 향상을 보였습니다.

결론

RST 프레임워크는 15라운드 수행 후에도 합성 수율(yield)과 검증 성공률이 안정적으로 유지되어, 추가적인 재귀적 합성이 가능함을 시사합니다. 본 연구는 대규모 자동화 파이프라인을 통해 비용 효율적으로 고품질 장기 에이전트 데이터를 생성할 수 있는 경로를 제시하며, 작업의 도메인 다양성 또한 성공적으로 보존함을 확인했습니다.