Black Forest Labs(BFL)에서 발표한 FLUX 3 Image Klein은 5.6B 파라미터 규모의 경량화된 오픈 웨이트 텍스트-투-이미지(text-to-image) 모델로, 이미지 생성, 편집 및 다중 참조(multi-reference) 생성 기능을 제공합니다. 이 모델은 FLUX 3 아키텍처를 기반으로 하며, 이미지뿐만 아니라 비디오(모션 및 물리적 역학)와 오디오(사건 및 상호작용) 데이터를 학습하여 보다 실감 나는 공간적 디테일과 물리적 기반의 이미지를 생성하도록 설계되었습니다.

핵심 방법론 및 기술적 특징

1. 아키텍처 및 최적화: 5.6B 파라미터의 효율적인 설계를 통해 기존 FLUX.2 [klein] 9B 모델 대비 파라미터 수는 38% 줄이면서도 텍스트-투-이미지 성능에서 91 Elo, 이미지 편집에서 70 Elo의 성능 향상을 달성했습니다.
2. 학습 데이터 통합: 이미지의 공간적 정보와 비디오의 물리적 역학, 오디오의 상황적 정보를 결합하여 모델이 현실 세계의 물리적 법칙을 보다 정확하게 이해하도록 학습되었습니다.
3. 배포 최적화: FP8(5.6 GB), INT8, NVFP4 등 다양한 정밀도 빌드를 지원하며, 특히 INT8 빌드를 사용할 경우 8GB VRAM을 갖춘 소비자용 GPU(NVIDIA GeForce RTX 시리즈)에서도 구동이 가능합니다.
4. 생성 가속화: 16단계의 스텝 증류(step-distilled) 모델을 제공하여 추론 지연 시간을 대폭 단축했습니다. 예를 들어, NVIDIA GeForce RTX 5090 환경에서 1MP 이미지 생성 시 약 4초가 소요되며, GB300 시스템의 NVFP4 최적화 환경에서는 0.6초 미만의 초고속 생성이 가능합니다.
5. 제어 가능성: 네이티브 4K 생성 해상도를 지원하며, 경계 상자(bounding box)를 통해 이미지 내 요소의 위치를 고정하거나 편집 범위를 특정 구역으로 제한하는 정밀한 편집 제어를 수행합니다.

주요 기능 및 라이선스

• 다중 참조(Multi-reference) 생성: 최대 10개의 참조 이미지를 활용하여 일관성 있는 결과물을 생성합니다.
• 생태계 지원: Ostris's AI Toolkit을 통한 LoRA 학습을 지원하며, NeMo AutoModel 레시피를 통해 NVIDIA 하드웨어 환경에서의 최적화된 Fine-tuning이 가능합니다. 또한 TensorRT-LLM, vLLM-Omni, SGLang Diffusion 등을 통해 프로덕션 환경에 배포할 수 있습니다.
• 보안 및 라이선스: FLUX Kommunity License를 따르며, 연간 매출 $5M 미만의 개인 및 기업은 무료 상업적 이용이 가능합니다. 학습 데이터 필터링과 Cinder를 통한 외부 레드팀 평가(red teaming)를 통해 유해 콘텐츠 생성 가능성을 최소화했습니다.

이 모델은 효율적인 파라미터 활용과 우수한 추론 속도를 결합하여, 소비자용 하드웨어에서도 고성능 이미지 편집 및 생성이 가능하도록 설계된 모델로 평가받습니다.