mlxcel은 Apple Silicon 및 NVIDIA CUDA 시스템을 위한 고성능 LLM(Large Language Model), VLM(Vision Language Model), 임베딩, 리랭킹, 오디오 추론을 제공하는 네이티브 Rust 런타임입니다. Python 환경이나 체크포인트 변환 과정 없이 MLX SafeTensors 체크포인트를 직접 실행하며, 프로덕션 수준의 서버 기능을 단일 실행 파일로 통합한 것이 특징입니다.

핵심 방법론 및 기술적 사양

1. Native Runtime 및 아키텍처
   • Direct Execution: 파이썬 인터프리터 경로를 배제하고, Rust로 구현된 엔진(mlxcel_core::engine::DirectEngine)이 MLX C++ 바인딩을 통해 모델을 직접 로드 및 실행합니다.
   • Multi-Model Serving: Router 모드를 통해 모델 저장소나 디렉토리에서 체크포인트를 온디맨드로 로드하며, LRU(Least Recently Used) 기반의 캐시 관리로 리소스 점유를 최적화합니다.
   • Kernel Optimization: RDNA 3.5와 같은 최신 아키텍처를 지원하며, HIP 포트를 통해 BitLinear, SSM Update, Mamba1 scan, Decode-MoE 등 특화된 융합 커널(Fused kernels)을 기본적으로 사용합니다.

2. 성능 가속화 기술
   • Speculative Decoding: MTP(Multi-Token Prediction) 및 DFlash 경로를 통해 greedy exactness를 보장하며, GET /v1/internal/mtp-policy를 통해 적응형 정책을 결정합니다.
   • KV Cache Compression: TurboQuant 알고리즘을 포팅하여 메모리 사용량을 절감하며, 연속 배치(Continuous batching)와 자동 프리픽스 캐싱(Automatic prefix caching)을 기본 활성화하여 처리량을 극대화합니다.
   • Memory Control: mlxcel inspect 명령어를 통해 실행 전 가용 메모리와 KV 캐시 요구량을 정밀하게 추정하여, 모델 로드 실패를 사전에 방지합니다.

3. 호환성 및 인터페이스
   • llama-server Compatibility: b10621 매니페스트를 기준으로 모든 라우트와 네이티브 요청 필드를 준수합니다. OpenAI, Anthropic, Vertex AI 호환 API를 모두 지원하여 기존 생태계와의 통합이 용이합니다.
   • Multimodal & Specialized Support: Qwen3-VL 비디오 입력, Whisper 기반 음성 전사, Kokoro TTS 및 Nemotron VoiceChat의 전이중(Full-duplex) 실시간 WebSocket 통신을 지원합니다.
   • Weight Surgery: --surgery 옵션을 통해 YAML 기반의 로드 타임 웨이트 수정(scale, add, prune, replace, interpolate)을 지원하여 체크포인트 수준의 미세 조정을 수행합니다.

4. 수학적 최적화
   • Data Precision: f32로의 강제 변환 없이 반정밀도(Half-precision) 경로를 유지하며, $bfloat16$ 최대값 수렴 시 발생할 수 있는 $NaN$ 문제를 해결하기 위해 축적 단계에서 $f32$ 정밀도를 활용한 브리지 감속 기법을 사용합니다.
   • MoE Expert Dispatch: Mixture-of-Experts 모델의 경우 전문화된 커널을 사용하여 Dense 모델 대비 효율적인 추론을 수행합니다.

이 런타임은 특히 Apple Silicon 환경에서 mlx-lm 대비 MoE 모델 성능을 약 106% 수준까지 끌어올리는 등, 엔지니어링 효율성과 추론 성능을 동시에 확보하는 데 초점을 맞추고 있습니다.