이 논문은 대규모 언어 모델(LLM)의 추론(inference) 효율을 극대화하기 위한 추론 스택인 DFlash 2를 소개합니다. AI 에이전트의 시대가 도래하며 토큰 소비량이 급증함에 따라, 본 논문은 기존의 autoregressive한 추론 방식이 가진 병목 현상을 해결하고자 합니다.

핵심 방법론

DFlash 2는 기존 DFlash의 병렬 예측 디자인을 유지하면서, 토큰 간의 일관성(coherence)을 확보하고 suffix decay(블록 뒤로 갈수록 예측 정확도가 떨어지는 현상)를 완화하는 데 중점을 둡니다.

1. Lightweight Path Selector (경로 선택기)

DFlash는 각 위치에서 독립적으로 토큰을 예측하므로 블록 내의 논리적 일관성이 부족할 수 있습니다. 이를 해결하기 위해 이전 토큰과의 연관성을 점수화하는 저랭크 쌍선형 주의(low-rank bilinear attention) 메커니즘을 도입했습니다. 인접한 후보 쌍 $(a, b)$에 대해 다음 식을 사용하여 최적의 경로를 선택합니다.
$$S_t(a, b) = U_t(b) + \langle A(a) \odot H(h_t), B(b) \rangle$$
여기서 $U_t(b)$는 드래프터(drafter)의 자체 logit이며, $H(h_t)$는 컨텍스트 게이트로 작용합니다. 이 방식은 추가적인 LM-head 연산 없이 매우 낮은 비용으로 병렬적으로 수행됩니다.

2. Lightweight Local Convolution (국소 합성곱)

Suffix decay 문제를 해결하기 위해 15개 층의 Transformer를 쌓는 대신, 5개 층의 구조에 '동적 깊이별 합성곱(dynamic depthwise convolution)'을 삽입했습니다. 이 모듈은 각 위치에서 자신과 이전 토큰의 정보를 혼합합니다.
$$\operatorname{Conv}_{k}(x)_t = k_{t,0} \odot x_t + k_{t,1} \odot x_{t-1}$$
이 방식은 블록 내의 로컬 의존성을 효과적으로 학습하여, 15개 층 모델에 필적하는 성능을 내면서도 매개변수 증가량은 3%, 지연 시간(latency) 증가는 0.7%에 불과합니다.

주요 결과

• 성능 향상: DFlash 2는 기존 DFlash 대비 16~25%의 성능 향상을 보이며, Qwen3.8-27B 모델 기준으로 기존 autoregressive 디코딩 대비 2.7~3.4배의 처리량(throughput)을 달성했습니다.
• 범용성: SGLang, vLLM, llama.cpp, Ollama, oMLX 등 주요 추론 엔진에서 즉시 사용 가능합니다.
• 결론: 추론 효율의 병목을 해결하기 위해 모델을 단순히 더 크게 만드는 대신, 경량화된 경로 선택기와 국소 합성곱을 결합함으로써 연산 비용을 최소화하면서도 정확도와 속도를 동시에 확보했습니다. 이는 AI 에이전트의 토큰 경제학을 뒷받침하는 차세대 추론 스택으로서의 가능성을 제시합니다.