Xiaomi MiMo-V2.5-Pro-UltraSpeed는 TileRT와의 협력을 통해 1조(1T) 파라미터 모델에서 1000 TPS (tokens per second)의 디코딩 속도를 최초로 달성했으며, 최대 1200 TPS를 기록했다. 이는 AI 애플리케이션의 패러다임을 근본적으로 변화시키는 성과로, 실시간 응답성, 다중 추론 경로의 병렬 실행(Best-of-N / Tree Search), 코딩 에이전트의 생산성 향상, 그리고 금융, 의료 등 시간 민감성이 높은 분야에서의 1T 모델의 실시간 의사결정 루프 통합을 가능하게 한다.

이러한 속도 향상은 단일 기술의 돌파구가 아닌, MiMo 모델 팀과 TileRT 시스템 팀 간의 깊은 협업과 극단적인 Model-System Codesign의 결과이다. 특히, commodity GPUs에서 인상적인 추론 속도를 달성했다는 점이 특징이다. 핵심 방법론은 다음과 같다.

1. 모델 측면 (Model-side Innovations)

• FP4 Quantization: 1T 스케일에서 메모리 footprint 및 bandwidth 압력을 줄이기 위해 widely validated된 거의 손실 없는 FP4 (MXFP4) 양자화 형식을 채택했다. MiMo-V2.5-Pro는 MoE (Mixture of Experts) 아키텍처를 사용하며, Experts가 대부분의 파라미터를 구성하고 양자화에 높은 내성을 가진다는 점을 활용하여 MoE Experts만 FP4로 선택적으로 양자화하고 다른 모듈은 원래 정밀도를 유지했다. QAT (Quantization-Aware Training)를 통해 모델의 전체 능력 저하 없이 모델 크기를 대폭 줄이고 하드웨어 bandwidth 활용을 극대화했다.

• DFlash Speculative Decoding: 기존 Speculative Decoding의 병목인 draft model의 품질과 계산 오버헤드 간의 트레이드오프를 해결하기 위해 block-level masked parallel prediction 방식인 DFlash를 채택했다. 이는 "autoregressive drafting"의 직렬 제약 조건을 근본적으로 제거한다.
  • 커스텀 최적화: 1T 스케일의 MoE 및 긴 Context 시나리오에 맞춰 MiMo-V2.5-Pro에 최적화되었다. Muon second-order optimizer 및 model self-distillation을 사용하여 compact mask block이 높은 acceptance rates를 달성하면서도 draft-stage 오버헤드를 최소화했다.
  • SWA (Sliding Window Attention) 정렬: Draft model은 SWA를 독점적으로 사용하여 MiMo-V2 시리즈의 SWA 설계와 자연스럽게 정렬된다. 이는 Context 길이 의존성을 제거하고 예측당 계산을 상수 시간으로 줄인다.
  • GPU-local Sharding: 훈련 시 mask-signal sampling이 GPU-local sharding으로 푸시되어 단일 시퀀스에서 수만 개의 독립적인 훈련 신호를 한 번에 생성하여 긴 Context 능력과 정렬되고 교차 장치 통신 오버헤드를 피한다.
  • 높은 Acceptance Length: 코딩 시나리오에서 평균 6.30의 acceptance length (최대 7.14)를 달성하여, 8개의 draft token 중 6~7개가 검증 라운드당 수용된다. 이는 경량 draft model이 실제 최종 이득으로 이어지는 높은 acceptance rates를 제공함을 의미한다.

2. 시스템 측면 (TileRT Ultra-Low-Latency Inference Kernels / System)

TileRT는 1000 TPS 운영 주파수에서 발생하는 "Execution Gaps"를 제거하기 위한 새로운 실행 모델을 도입하여 commodity GPUs의 물리적 잠재력을 최대한 활용한다.

• Persistent Engine Kernel: 전통적인 per-operator launch 패러다임을 완전히 버리고, 전체 계산 파이프라인을 GPU 내에 지속적으로 상주시키고 흐르게 한다. 이를 통해 완전한 파이프라인 연속 prefetching이 가능하며, 데이터 이동과 계산 간의 극단적인 중첩을 달성한다.

• Warp Specialization (Heterogeneous Pipeline Collaboration): Tile 수준에서 통신, 데이터 이동 및 텐서 계산이 더 미세한 granularity로 물리적으로 분해된다. 이는 동질적인 lock-step 실행 모델을 깨고, 다른 Warps (스레드 그룹) 및 GPU 전체의 이기종 실행 도메인이 독립적으로 정밀하게 조율되어 GPU를 지속적으로 흐르는 이기종 실행 시스템으로 변환한다.

• Hardware-Software Deep Convergence (Codesign): TileRT는 MiMo 모델의 FP4 양자화 및 SWA 정렬 DFlash speculative decoding과 긴밀하게 결합하여 맞춤형 컴파일 엔진과 계산 커널을 제공한다. 양 팀은 하드웨어 물리적 특성을 기반으로 심층적인 공동 엔지니어링 트레이드오프를 통해 실행 압력이 하드웨어 경계 내에서 원활하게 해소되도록 보장했다.

이러한 혁신적인 Model-System Codesign을 통해 MiMo-V2.5-Pro-UltraSpeed는 단일 표준 8-GPU commodity 노드만 사용하여 1T 모델에서 1000+ TPS 출력을 달성했다.

Xiaomi MiMo-V2.5-Pro-UltraSpeed API는 제한된 기간 동안 (2026년 6월 9일부터 6월 23일까지) 애플리케이션 기반으로 제공되며, 승인된 사용자는 무료 Chat 액세스를 이용할 수 있다. 또한, MiMo-V2.5-Pro-FP4-DFlash 체크포인트가 HuggingFace에 오픈 소스화되어 FP4 양자화 가중치와 DFlash 모델 파라미터가 포함되어 있다.