이 논문은 모델이 스스로 작업을 제안하고, 이를 해결하기 위한 scaffold를 구축하며, 강화학습을 위한 solution rollout을 생성하는 '완전한 자기 개선 루프(complete self-improvement loop)'를 구현한 Ornith-1.5를 소개합니다. Ornith-1.5는 397B MoE, 35B MoE, 9B dense 등 세 가지 규모로 구성되며, 추론, 에이전트, 코딩 작업 전반에서 최첨단 성능을 달성합니다.

핵심 방법론: 자기 개선 루프(Self-Improvement Loop)

Ornith-1.5는 기존의 정적인 훈련 분포나 수작업에 의존하지 않고, 모델이 직접 학습 경험을 생성합니다. 학습은 세 단계(작업 제안, scaffold 구축, solution rollout)의 공동 최적화를 통해 이루어집니다.

1. 작업 제안(Task Proposal): 모델은 이전의 해결 이력을 바탕으로 자신의 능력 경계에 있는 점진적으로 더 어려운 작업을 제안합니다.
2. Scaffold 구축(Scaffold Construction): 작업별로 문제 해결을 위한 지침, 도구, 분해 전략 및 오케스트레이션을 정의하는 scaffold를 생성합니다.
3. Solution Rollout: 위에서 정의된 환경과 scaffold 위에서 모델이 문제를 해결하는 rollouts을 생성하며, 이 과정에서 발생한 보상을 바탕으로 GRPO(Group Relative Policy Optimization)를 사용하여 모델을 강화합니다.

보상 메커니즘(Reward Mechanism)

학습 과정의 핵심인 Task Reward($R_{\text{task}}$)는 다음과 같이 세 가지 신호를 곱하여 정의됩니다.

$$R_{\text{task}} = V(q,s) \times D(q,s,\{\tau_i\}_{i=1}^{N}) \times N(q)$$

• Validity ($V$): 작업과 scaffold가 적절하고 검증 가능한 환경인지 확인합니다. 유효하지 않은 작업은 $V(q,s)=0$을 통해 배제됩니다.
• Frontier Difficulty ($D$): 모델의 empirical success rate ($p$)가 목표치($p^*=0.2$)에 얼마나 근접한지 측정합니다.

$$D(q,s,\{\tau_i\}) = \exp\left(-\frac{(p-p^*)^2}{2\sigma^2}\right)$$
이 식은 너무 쉽지도 어렵지도 않은, 학습하기 최적의 난이도를 유도합니다.

• Novelty ($N$): 이전에 수행된 작업들과의 유사도를 계산하여 중복을 방지하고 다양성을 확보합니다.

또한, Harness Reward($R_{\text{harness}}$)는 작업 정렬성($C$), 보상 충실도($F$), 해킹 저항성($H$)을 결합하여 평가 환경의 질을 보장하며, 최종적으로 각 rollout은 harness가 제공하는 점수($R_{\text{rollout}}$)에 의해 학습됩니다.

성능 및 결과

• Ornith-1.5-397B: Terminal-Bench 2.1에서 86.1점, DeepSWE에서 56.0점을 기록하며 Claude Opus 4.8과 대등하거나 능가하는 성능을 보였습니다.
• Ornith-1.5-35B: Qwen 3.6-35B 등 동급 모델을 크게 상회하며, 특히 agentic coding 분야에서 dense 모델인 Gemma 4-31B 등을 압도했습니다.
• Ornith-1.5-9B: 엣지 디바이스 배포가 가능한 규모임에도 불구하고 훨씬 큰 모델들을 능가하는 강력한 결과를 도출했습니다.

이 연구는 모델이 스스로 커리큘럼을 확장하고 문제 해결 전략을 적응시켜, 지속적인 성능 향상을 가능하게 하는 자기 개선 프레임워크의 가능성을 입증했습니다.