DeepInfer: DeepSeek 모델을 위한 고성능 대규모 추론 프레임워크

DeepInfer는 DeepSeek의 대규모 프로덕션 서비스를 뒷받침하는 고성능 추론 프레임워크로, DeepSeek-V4.1-Flash 모델을 지원하며 대규모 서비스에 최적화된 오프라인 추론 기능을 제공합니다.

1. 핵심 아키텍처 및 병렬 처리

DeepInfer는 확장성 있는 모델 서빙을 위해 다양한 병렬 처리 전략을 통합했습니다:

• 병렬 처리(Parallelism): Attention DP(Data Parallelism) 및 Balanced CP(Context Parallelism)를 지원하며, MoE(Mixture-of-Experts) 모델을 위한 EP(Expert Parallelism)와 EPLB(Expert Parallelism Load Balancing)를 구현했습니다.
• 비동기 스케줄링(Asynchronous Scheduling): CPU의 배치 스케줄링과 디바이스의 실행 단계를 중첩시켜 오버헤드를 0으로 수렴하게 설계되었습니다.
• 최적화된 커널(Optimized Kernels): FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect 및 TileLang 기반 커널을 통해 연산 성능을 극대화했습니다.

2. 고성능 디코딩 기술

효율적인 생성 성능을 확보하기 위해 다음과 같은 고급 추론 기법을 도입했습니다:

• DSpark 및 신뢰도 기반 검증: DEEPINFER_USE_NEXTN_DECODE를 통해 draft token을 생성하고, 신뢰도 추정치를 기반으로 검증 과정을 스케줄링하여 디코딩 속도를 가속합니다.
• SWA(Sliding Window Attention) Bounded Replay: $DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact$ 설정을 통해 디코더의 prefill 연산을 최적화합니다. 이는 전체 시퀀스를 다시 처리하는 대신, SWA 윈도우와 역추적(backtracking) 길이를 포함하는 접미사(suffix)만 리플레이하여 연산량을 줄입니다.
• 배치 불변성 및 결정론적 샘플링: $DEEPINFER_BATCH_INVARIANT=1$ 설정을 통해 배치 구성과 관계없이 일관된 결과값을 보장하며, seq_seed와 결합하여 결정론적 샘플링(Deterministic sampling)을 지원합니다.

3. 구조화된 출력(Structured Outputs)

모델 생성 결과를 특정 형식으로 제한하는 기능을 제공합니다. 사용자는 SamplingParams에 so_args를 전달하여 다음 형식을 강제할 수 있습니다:

• Regex, JSON schema, EBNF grammar

4. 하드웨어 지원 및 구현 환경

• 지원 하드웨어: NVIDIA SM100 GPU 및 Huawei Ascend 950 NPU.
• 기술 스택: Linux, GCC >= 13.0, Python 3.12, CUDA 13(NVIDIA) 또는 CANN 9.2(Ascend) 환경에서 소스 빌드를 지원합니다.
• 기반 기술: vLLM, SGLang, TensorRT-LLM의 설계를 참고하여 구축되었습니다.

이 프레임워크는 대규모 모델의 프로덕션 배포 시 요구되는 핵심 기능(KV cache, disaggregated serving, load balancing 등)을 모듈화하여, DeepSeek-V4.1-Flash 모델의 성능을 극한으로 끌어올리는 데 최적화되어 있습니다.