본 논문은 기존의 Reinforcement Learning with Verifiable Rewards (RLVR)가 수학 및 코딩과 같이 결정론적 검증이 가능한 영역으로 한정되어 있다는 한계를 극복하기 위해, Reinforcement Learning with Self-Verifiable Rewards (RLSVR)라는 새로운 학습 패러다임을 제안한다. 이는 Self-supervised learning의 원리를 차용하여, 검증 불가능한 개방형 작업(open-ended tasks)을 내부 규칙에 따라 자동으로 보상 신호를 생성하는 프록시 환경으로 변환하는 방식이다.

핵심 방법론: RLSVR 및 SpyRL

1. RLSVR (Reinforcement Learning with Self-Verifiable Rewards)
RLSVR은 타겟 작업(Task)을 변환 함수 $\Phi$를 통해 프록시 환경 $E$로 매핑한다.

• Latent-variable injection: 환경은 잠재 변수 $z$를 샘플링하여 기록한다.
• Conditioned task execution: 정책 $\pi_{\theta}$는 $z$에 따른 관측치 $o$를 바탕으로 작업을 수행하여 출력 $y$를 생성한다.
• Rule-based reward: 환경은 기록된 $z$와 상호작용 결과 $y$를 비교하여 결정론적인 보상 $R$을 계산한다.

이 과정에서 보상은 인간의 주관적 평가나 모델 기반 평가자 없이 환경 자체의 규칙에 의해 산출되므로, 평가 편향과 계산 비용 문제를 해결한다.

2. SpyRL (Self-PlaY Reinforcement Learning)
SpyRL은 RLSVR의 구체적인 구현체로, 정보를 비대칭적으로 배분하는 social deduction game 형식의 다중 에이전트 환경을 구축한다.

• Performing Stage: $n-1$명의 시민 에이전트에게는 전체 정보를, 1명의 스파이 에이전트에게는 열화된 정보 $g(x)$를 제공한다. 모든 에이전트는 동일한 작업을 수행하며, 스파이의 정보 부족으로 인한 성능 격차가 발생한다.
• Detection Stage: 에이전트들은 서로의 출력물을 검사하여 스파이를 투표한다. 환경이 스파이의 정체 $u$를 알고 있으므로, 투표 결과는 즉각적으로 검증 가능한 보상 $r^D_i = \mathbb{I}[v_i = u]$로 전환된다.
• Reward Coupling:
  • 탐지자(Detector)의 보상은 스파이를 정확히 식별했는지에 대한 group-based advantage $A^D_i$로 산출된다.
  • 수행자(Performer)의 보상은 받은 투표 수 $m_j$에 반비례하게 설정되어, 더 나은 성능을 보여 스파이로 의심받지 않도록 유도한다. 특히, 스파이와 시민 사이의 제로섬(zero-sum) 관계 $r^P_u = -\beta(m_u - \bar{m}_c)$와 시민 간의 경쟁 보상을 통해 정책 $\pi^P_{\theta}$를 최적화한다.

최적화 기법

논문은 두 단계의 상호보완적 최적화를 위해 Role-Advantage Estimation (RAE)을 도입하여 정보 비대칭으로 인한 역할별 편향을 보정한다. 또한, 수행자와 탐지자 정책을 고정된 비율로 학습시키는 대신, 학습 상태에 따라 두 단계를 교차 최적화(alternating optimization)함으로써 정책 정체(policy stagnation)를 방지하고 학습 안정성을 높인다.

실험 결과

이 연구는 텍스트 요약, 창의적 글쓰기, 수학적 추론 등 다양한 영역에서 SpyRL을 검증했다. 결과적으로 Qwen3-8B 모델에서 기존의 자가 학습 방식보다 높은 성능 향상을 보였으며, 특히 평가자가 존재하지 않는 비정형 작업에서 모델의 출력 품질이 투표 결과와 강력한 상관관계를 가짐을 증명하였다. 이는 작업 변환을 통해 개방형 작업에서도 확장 가능한(scalable) 강화학습 기반의 자가 개선이 가능함을 시사한다.