DiffusionGemma는 Google의 Gemma 4 아키텍처를 기반으로 하는 실험적인 오픈 모델로, 텍스트 생성에 있어 이산 확산(discrete diffusion) 방식을 탐색합니다. 이 모델은 260억(활성 40억) 파라미터 규모의 전문가 망(Mixture of Experts, MoE) 아키텍처를 활용하며, 멀티모달(multimodal) 입력을 처리하여 텍스트 출력을 생성할 수 있습니다. DiffusionGemma의 주요 목표는 다양한 하드웨어 환경에서 배포 가능하도록 유지하면서 생성 속도(초당 토큰)를 개선하는 것입니다.

DiffusionGemma는 Gemma 4의 아키텍처 및 기능 개선 사항을 바탕으로 다음과 같은 핵심 기능을 도입합니다:

1. 이산 텍스트 확산 (Discrete Text Diffusion): 기존의 인과적 토큰 생성 방식에서 블록 자동 회귀 멀티 캔버스 샘플링(block autoregressive multi-canvas sampling)으로 전환합니다. 이 모델은 토큰 블록('캔버스')을 병렬로 반복적으로 노이즈 제거(denoising)하여 텍스트를 생성하며, 이는 디코딩 속도를 크게 향상시킵니다.
2. 멀티모달 처리 (Multimodal Processing): 텍스트, 이미지(다양한 가로세로 비율 및 해상도 지원), 동영상 입력을 기본적으로 처리할 수 있습니다. (오디오 입력은 지원되지 않습니다.)
3. 인코더-디코더 아키텍처 (Encoder-Decoder Architecture): 자기 회귀 인코더(self-regressive encoder)를 활용하여 프롬프트 컨텍스트를 처리하고 캐시하며, 이는 생성 캔버스에 양방향 어텐션(bidirectional attention)을 적용하는 노이즈 제거(denoising)와 결합됩니다.
4. MoE 효율성 (MoE Efficiency): 26B (활성 4B) MoE 변형을 기반으로 하는 희소 MoE(sparse MoE) 설계를 활용하여 오버헤드를 최소화하면서 심층적인 추론 기능을 제공합니다. 양자화(quantization)를 통해 소비자 GPU의 18GB VRAM 한도 내에 적합하여 로컬 실행에 이상적입니다.
5. 사고 모드 (Thought Mode): 내장된 구성 가능한 추론 채널을 통해 모델이 최종 답변을 내보내기 전에 단계별로 "생각"할 수 있습니다.

기존 모델과의 절충:
기존 언어 모델은 대규모 클라우드 배포에서 수천 개의 요청을 일괄 처리하여 매우 효율적이지만, 단일 사용자를 위해 로컬로 실행할 경우 하드웨어 활용도가 낮습니다. DiffusionGemma는 한 번에 하나의 토큰이 아닌 전체 256개 토큰 블록을 동시에 생성하여 로컬 하드웨어 성능을 극대화함으로써 이 문제를 해결합니다. 이러한 접근 방식은 소비자 대상의 낮은 동시성을 갖는 로컬 사용을 위한 것입니다. 병렬 디코딩은 QPS(Queries Per Second)가 높은 클라우드 워크로드에서는 수확 체감의 법칙(diminishing returns)을 따르므로, 처리량 이점은 단일 가속기에서 배치 크기가 낮음에서 중간일 때 가장 강력합니다.

권장 서빙 구성:
지연 시간과 품질을 최적화하기 위해 확산 샘플링 설정에 다음 기본 매개변수 사용을 권장합니다.

• 최대 노이즈 제거 단계 수 (Max Denoiser Steps): 48. 이는 캔버스당 노이즈 제거 단계 수의 상한선입니다. 적응형 조기 중단(adaptive early stopping)이 활성화되면 일반적으로 작업에 따라 12~16단계에서 노이즈 제거가 중단됩니다.
• 온도 설정 일정 (Temperature Schedule): 선형 0.8 -> 0.4. 높은 값(0.8)으로 시작하여 노이즈 제거 단계에 따라 감소하는 온도 스케일링 일정입니다. 높은 온도는 초기 탐색을 장려하고, 낮은 온도는 최종 토큰을 고정합니다.
• 적응형 조기 중단 (Adaptive Early Stopping): 엔트로피 임계값(entropy threshold) 0.005. 캔버스 전체의 평균 모델 엔트로피가 임계값 미만이고 두 개의 연속된 디노이저 예측이 동일하게 유지되면 실행이 조기에 중단됩니다. 이는 코드와 같은 간단한 프롬프트나 구조화된 작업에 적은 노이즈 제거 단계만 필요하므로, 작업 복잡성에 따라 초당 토큰 속도를 동적으로 조정합니다.
• 토큰 선택 엔트로피 경계 (Token Selection Entropy Bound): 0.1. 각 단계에서 샘플러는 상호 정보 경계(mutual information bound)가 엔트로피 경계 아래로 유지되도록 엔트로피가 가장 낮은 토큰을 선택합니다. 선택되지 않은 토큰은 나중에 노이즈 제거 단계에서 다시 처리됩니다. 이는 모델이 비교적 확실하다고 판단하는 토큰만 선택하여 캔버스를 세분화하고, 다른 토큰은 이후 단계에서 세분화하도록 합니다.

DiffusionGemma의 실험 모델 가중치는 Apache 2.0 라이선스에 따라 Hugging Face, Kaggle, Vertex AI를 통해 접근할 수 있습니다.