DeepSeek-V4-Flash-Vision-Exp은 DeepSeek-V4 제품군 내에서 처음으로 공개된 실험적 멀티모달(multimodal) 모델로, 기존 DeepSeek-V4-Flash 아키텍처에 시각 모듈(visual modules)을 통합하고 추가 학습(continued training)을 통해 고도화된 시각적 이해 능력을 갖추도록 설계되었습니다.

핵심 방법론 및 아키텍처

이 모델은 기존 텍스트 기반의 DeepSeek-V4-Flash의 강점을 유지하면서, 다음과 같은 기술적 요소들을 통해 시각적 추론 역량을 강화했습니다.

1. 시각 모듈 및 정렬(Vision Encoder and Aligner): 모델은 시각 정보를 텍스트 latent 공간으로 투영하기 위한 시각 인코더와 정렬 모듈을 포함합니다. 이를 통해 이미지 데이터를 텍스트 토큰과 동일한 의미적 공간에서 처리합니다.
2. DFlash Attention 및 MoE (Mixture of Experts): 추론 속도와 효율성을 위해 DFlash Attention 메커니즘과 Sparse MoE 아키텍처를 활용합니다. 이는 방대한 파라미터(약 305B)를 효율적으로 계산하면서도 복잡한 에이전트 태스크를 수행할 수 있게 합니다.
3. 하이퍼 커넥션(Hyper-Connections) 및 DSpark: 모델의 깊은 층 간 정보 흐름을 최적화하는 하이퍼 커넥션 기술과, 추론 과정에서의 계산 효율을 높이기 위한 DSpark forward path가 적용되었습니다.
4. 추론 가속: 특히 SGLang 및 vLLM 프레임워크와 연동하여 DSpark 알고리즘 기반의 추론 가속을 지원합니다. 추론 시 num_speculative_tokens: 3을 사용하는 사변적 디코딩(speculative decoding)을 통해 연산 효율을 극대화합니다.

성능 및 벤치마크

DeepSeek-V4-Flash-Vision-Exp는 기존 DeepSeek-V4-Flash-0731과 비교하여 텍스트 전용 에이전트 성능을 대등하게 유지하면서도, 멀티모달 에이전트 태스크에서 월등한 성능 향상을 보입니다.

• Text Agent Capabilities: Terminal Bench 2.1 (83.9), DeepSWE (59.3), Toolathlon-Verified (75.9) 등에서 우수한 성적을 기록했습니다.
• Multimodal Agent Capabilities: ApexBench (36.5, Pass@1), Chartography (64.3) 등의 지표에서 기존 모델이 시각 요소를 무시하던 것과 달리, 시각 정보에 대한 강력한 해석 능력을 입증했습니다.

기술 사양 및 사용성

• 파라미터: 총 305B 파라미터.
• 데이터 타입: BF16, F32, F8_E4M3, I8 등 다양한 양자화(quantization) 및 정밀도 포맷을 지원하여 배포 환경의 유연성을 제공합니다.
• 프롬프트 방식: OpenAI-style JSON 콘텐츠 블록과 $<image>path</image>$ 형태의 텍스트 표기법을 모두 지원하며, 인코딩 모듈과 추론 모듈을 분리하여 호환성을 높였습니다.

결론적으로, DeepSeek-V4-Flash-Vision-Exp는 텍스트 처리 효율과 멀티모달 이해도를 결합한 고성능 모델로서, 복잡한 시각적/언어적 추론이 요구되는 에이전트 기반 작업에 최적화된 아키텍처를 갖추고 있습니다.