Blog
Run Unsloth Dynamic NVFP4 Guide | Unsloth Documentation
2026.07.16
·Web·by Homin.Lee#LLM#NVFP4#NVIDIA#Quantization#Unsloth
핵심 포인트
- 1Unsloth Dynamic NVFP4는 NVIDIA Blackwell GPU 전용 4-bit 양자화 포맷으로, 중요한 레이어는 FP8이나 BF16으로 유지하고 나머지는 W4A4로 처리하여 정확도를 보존하면서도 기존 대비 최대 2.5배 빠른 추론 속도를 제공합니다.
- 2기존의 MXFP4보다 작은 블록 크기와 FP8 기반의 스케일링 방식을 적용하여 성능을 최적화했으며, vLLM이나 SGLang 환경에서 Marlin 대신 CUTLASS나 cute-DSL 백엔드를 사용하여 W4A4 가속을 극대화할 수 있습니다.
- 3이 모델 포맷은 Gemma 4 및 Qwen3.6 시리즈를 지원하며, FP8 KV 캐시 보정을 통해 기존 BF16 모델보다 더 긴 컨텍스트 길이를 제공하면서도 벤치마크상 동등한 수준의 높은 정확도를 유지합니다.
이 문서는 NVIDIA Blackwell GPU 아키텍처에 최적화된 새로운 4비트 양자화 포맷인 Unsloth Dynamic NVFP4에 대해 설명합니다. 이 기술은 모델 정확도를 보존하면서도 VRAM 사용량을 줄이고 추론 속도를 극대화하는 데 중점을 둡니다.
핵심 방법론 및 기술적 상세
Unsloth Dynamic NVFP4는 모든 레이어를 균일하게 FP4로 강제 변환하는 대신, 중요도에 따라 레이어를 선별하여 FP8(W8A8) 또는 BF16으로 유지하고, 나머지 레이어만 W4A4(4-bit Weight, 4-bit Activation)로 양자화하는 Dynamic Quantization 방식을 채택합니다.- W4A4 활용: 일반적인 W4A16 방식과 달리, W4A4는 Blackwell GPU의 FP4 Tensor Cores를 직접 활용하여 최대 2.5배의 추론 속도 향상을 제공합니다.
- NVFP4 vs MXFP4: NVFP4는 MXFP4에 비해 우수한 성능을 보입니다.
- Block size: NVFP4는 16, MXFP4는 32를 사용하여, 더 작은 데이터 단위에 대한 스케일링을 통해 이상치(outlier)를 효과적으로 격리하고 정확도를 높입니다.
- Scaling Factor: powers of 2 방식(E8M0) 대신 FP8(E4M3) 기반의 스케일링을 사용하여 언어 모델에 최적화된 정밀도를 제공합니다.
- 수치적 정밀도: FP32 대비 데이터 공간 요구량을 수학적으로 분석하면 다음과 같습니다.
성능 및 하드웨어 가속
- 하드웨어 요구사항: RTX 50 시리즈, B200, B300 및 RTX PRO 6000과 같은 Blackwell 기반 GPU에서만 실행 가능합니다.
- 소프트웨어 최적화: vLLM 및 SGLang 환경에서 Marlin 커널 대신 CUTLASS, Flashinfer-TRTLLM, 또는 cute-DSL 백엔드를 사용할 때 최상의 성능을 냅니다. 특히 Marlin은 W4A4를 지원하지 않아 성능 저하를 유발하므로 주의가 필요합니다.
- 추가 기능: FP8 KV cache 교정 기능을 통해 기존 대비 2배 더 긴 컨텍스트 길이를 처리할 수 있으며, MTP(Multi-Token Prediction) 텐서를 양자화 모델에 직접 내장하여 디코딩 성능을 향상시켰습니다.