Decision 3.0은 vLLM Semantic Router 팀이 발표한 멀티모달 Decision Model 제품군으로, 텍스트, JSON, 이미지를 입력받아 특정 질문에 대한 확률(probability) 값을 출력하는 방식으로 작동합니다. 이 모델들은 기존의 LLM과 달리 텍스트 생성 후 파싱 과정을 거칠 필요가 없으며, 라우팅(routing), 게이팅(gating), 분류 작업에 최적화된 'System One' 패턴을 지향합니다.

핵심 방법론 및 기술적 상세

1. 아키텍처 및 베이스 모델: 총 5개의 모델 사이즈(0.85B, 2.21B, 4.54B, 8.39B, 26.09B)로 구성되며, 각 모델은 Qwen 베이스 모델을 기반으로 파인튜닝되었습니다. 27B 모델은 Qwen3.8-27B를, 나머지 4개 모델은 Qwen3.5 체크포인트를 활용했습니다.
2. 멀티모달 처리: 모든 모델은 독립적인 비전 인코더를 포함합니다(모델 크기에 따라 0.1B ~ 0.46B 파라미터). 최대 1.6 메가픽셀 해상도의 PNG, JPEG, WebP 이미지를 처리할 수 있으며, 질문마다 입력 데이터에 대해 별도의 forward pass를 수행합니다.
3. 작동 원리: 사용자가 상태(State: 텍스트/JSON)와 선택적 이미지, 그리고 명명된 질문(Choice, Yes/No, 또는 척도 점수)을 전달하면, 모델은 각 질문에 대해 calibrated scores를 반환합니다. 이를 통해 개발자는 사전에 설정한 threshold를 기준으로 조건부 로직을 수행할 수 있습니다.
4. 최적화: $transformers==5.17.0$ 환경에서 구동되며, flash-linear-attention 패키지를 통해 Linear-attention 레이어의 연산 속도를 가속화합니다.

성능 및 벤치마크

• 평가 기준: Jev Decision Index 0.3.1을 지표로 사용합니다. 내부 평가 결과, 27B 모델은 텍스트(64.1) 및 비전(71.6) 테이블에서 1위를 차지했습니다.
• 효율성: 9B 모델인 d3-flash가 이전 세대인 Decision 2.0의 27B 모델(55.9)보다 높은 성능(59.0)을 기록하여 모델 경량화 및 효율성 면에서 큰 진전을 보였습니다.
• 추론 속도: AMD Instinct MI325X GPU를 사용하여 측정된 텍스트 처리 지연 시간(median latency)은 모델별로 21.7ms에서 84ms 사이로 나타났으며, 이미지 처리 시에는 60.7ms에서 342ms의 지연 시간이 발생합니다.

모델 라인업 (사양)

| 모델명 | 파라미터 | 베이스 모델 |
| :--- | :--- | :--- |
| d3-lite | 0.85B | Qwen3.5 |
| d3-nano | 2.21B | Qwen3.5 |
| d3-mini | 4.54B | Qwen3.5 |
| d3-flash | 8.39B | Qwen3.5 |
| d3 | 26.09B | Qwen3.8-27B |

Decision 3.0은 Apache-2.0 라이선스로 공개되었으며, 생성형 AI의 결정론적 제어가 필요한 엔지니어링 환경에서 파싱 복잡도를 제거하고 신뢰할 수 있는 수치적 응답을 제공하는 데 강점이 있습니다.