본 논문은 대규모 실세계 조작 궤적을 활용하여 범용적인 로봇 정책을 학습하는 기초 Vision-Language-Action (VLA) 모델인 Xiaomi-Robotics-1을 소개합니다. 이 모델은 로봇 학습의 병목 현상인 데이터 부족 문제를 해결하기 위해 사전 학습(Pre-training)과 사후 학습(Post-training)의 2단계 학습 방식을 제안합니다.

1. 핵심 방법론 및 모델 아키텍처

Xiaomi-Robotics-1은 Mixture-of-Transformers (MoT) 구조를 채택하며, 사전 학습된 Vision-Language Model (VLM, Qwen3-VL)과 Diffusion Transformer (DiT)를 결합하여 구성됩니다.

• 학습 구조: VLM은 시각적 관측치($o_t$)와 언어 지시($l$)를 입력받아 처리하며, Choice Policies를 통해 동작 생성 능력을 내재화합니다. DiT는 VLM의 KV 캐시와 로봇 상태($s_t$)를 조건으로 받아 Flow Matching을 통해 동작 청크($a_{t:t+H}$)를 생성합니다.
• Flow Matching 목적 함수:

$L_{Flow}(\theta) = ||v_\theta(o_t, l, s_t, \tilde{a}^\tau_{t:t+H}, \tau) - u(\tilde{a}^\tau_{t:t+H}, a_{t:t+H}, \tau)||^2_2$
여기서 $\tilde{a}^\tau_{t:t+H}$는 노이즈가 추가된 동작이며, timestep $\tau$는 Beta 분포에서 샘플링됩니다.

• VLM 보조 감독: VLM에 동작 생성 능력을 직접 부여하기 위해 Choice Policies를 도입하여 $K$개의 후보 동작 청크와 해당 점수를 예측합니다. 성능 저하를 방지하기 위해 DiT의 어텐션 연산 시 VLM의 동작 관련 토큰을 제외하여, 모델이 시각 및 언어 컨텍스트에 더 집중하도록 설계했습니다.

2. 학습 데이터 전략

• 사전 학습 (Pre-training): UMI (Universal Manipulation Interface) 장치로 수집된 10만 시간 이상의 실세계 조작 데이터를 사용합니다. 수동 레이블링의 한계를 극복하기 위해 Qwen3.5-27B 기반의 auto-labeling pipeline을 구축하여, 장면 상태 전이(scene state transitions)를 자동으로 주석 처리했습니다.
• 사후 학습 (Post-training): 약 1만 시간의 교차 실시체(cross-embodiment) 데이터를 활용하여 UMI 그리퍼 중심의 동작 능력을 실제 로봇(이동식 매니퓰레이터 등)의 임베딩으로 전환합니다. 이때 상태 전이 설명 데이터를 인간의 명령형 지시어와 정렬하여 실질적인 로봇 제어 모델로 최적화합니다.

3. 주요 성과 및 확장성

• Scaling Behavior: 실험 결과, 사전 학습 단계에서의 데이터 규모와 모델 크기 증가는 검증 데이터에 대한 동작 예측 오차를 체계적으로 감소시킵니다. 사전 학습의 확장성은 사후 학습 후의 out-of-the-box 성능 향상으로 직접 전이되었습니다.
• 벤치마크 성능: RoboCasa365에서 57.4%의 성공률을 기록하여 기존 최고 성능(46.6%)을 갱신하였으며, RoboDojo에서도 평균 점수 20.07을 달성하며 최첨단(State-of-the-art) 성능을 입증했습니다.
• 데이터 효율성: 미세 조정(fine-tuning) 단계에서 복잡한 손기술(dexterous tasks) 학습 시, 태스크당 10시간 미만의 데이터만으로도 75%의 성공률을 달성하는 높은 데이터 효율성을 보였습니다.

결론적으로, Xiaomi-Robotics-1은 대규모 데이터와 모델 스케일링을 통해 보지 못한 환경에서도 즉각적인 작업 수행이 가능하며, 새로운 작업에 대해 효율적으로 적응할 수 있는 강력한 로봇 기초 정책 모델로서의 가능성을 제시합니다.