GitHub - ideogram-oss/ideogram4: Ideogram 4: Open image model at the forefront of design
핵심 포인트
- 1Ideogram 4는 Ideogram의 첫 번째 open-weight text-to-image 모델로, 기존 모델을 fine-tuning한 것이 아니라 scratch부터 훈련되어 탁월한 디자인 지향적 이미지 생성 능력을 제공합니다.
- 2이 모델은 structured JSON prompting 인터페이스를 통해 multilingual text rendering, bounding-box layout, color-palette controls 등 정교한 제어를 가능하게 하며, Qwen3-VL-8B-Instruct를 text encoder로 사용하는 single-stream DiT 아키텍처를 기반으로 합니다.
- 3다양한 외부 및 내부 벤치마크에서 Ideogram 4는 open-weight 모델 중 최상위를 차지하며, 특히 텍스트 렌더링 및 layout control에서 뛰어난 성능을 보여 사용자들이 높은 품질의 이미지를 생성할 수 있도록 지원합니다.
Ideogram 4는 Ideogram AI에서 개발한 최초의 오픈웨이트(open-weight) text-to-image foundation model입니다. 이 모델은 기존 모델의 fine-tune이 아닌, 처음부터 학습된(trained from scratch) 모델로, 디자인 분야에서 최첨단 성능을 자랑합니다.
핵심 방법론 및 아키텍처 (Core Methodology & Architecture)
Ideogram 4는 flow-matching text-to-image model이며, 완전히 single-stream Diffusion Transformer (DiT) 아키텍처를 기반으로 합니다.
- Single-stream DiT 아키텍처: 텍스트와 이미지 토큰이 하나의 통합된 시퀀스로 연결되며(concatenated), 동일한 34-layer Transformer를 통해 처리됩니다. 이는 별도의 텍스트 또는 이미지 브랜치 없이 모든 레이어에서 깊은 cross-modal interaction을 가능하게 합니다.
- Vision-language Model (VLM) Text Encoder: CLIP이나 T5와 같은 텍스트 전용 인코더 대신, Ideogram 4는 Qwen3-VL-8B-Instruct라는 full vision-language model을 텍스트 인코더로 사용합니다. 이 VLM은 시각적 개념에 대한 훨씬 풍부한 이해를 제공합니다. 모델은 13개 intermediate layers에서 hidden states를 추출하고 이를 연결하여, 표면적인 토큰 정보부터 깊은 compositional understanding에 이르는 multi-scale semantic features를 획득합니다.
- Dual-branch Classifier-Free Guidance (CFG): 조건부(conditional, positive) 및 비조건부(unconditional, negative) 브랜치를 독립적으로 개선할 수 있도록 설계되어, prompt adherence와 image quality를 개별적으로 제어할 수 있습니다.
- 유연한 해상도 (Flexible Resolution): 256부터 2048까지(16의 배수) 모든 해상도를 기본적으로 지원하며, 최대 6:1의 aspect ratio를 지원합니다. 하나의 모델이 정사각형 썸네일부터 ultrawide 배너까지 다양한 형식을 처리할 수 있으며, noise schedule은 해상도에 따라 자동으로 조정됩니다.
주요 기능 및 혁신 (Key Capabilities & Innovations)
Ideogram 4는 structured JSON captions을 사용하여 학습되었으며, 이를 통해 사용자에게 전례 없는 제어 기능을 제공합니다.
- 극대화된 제어 가능성 (Extreme Controllability): composition, style, lighting, color palette, typography, spatial layout 등 모든 요소를 단일 JSON 프롬프트를 통해 정밀하게 제어할 수 있습니다.
- 최첨단 텍스트 렌더링 (State-of-the-art Text Rendering): signage, logos, captions, watermarks, multi-line text 등 이미지 내 텍스트 생성에서 최고의 성능과 높은 fidelity를 직접 프롬프트에서 구현합니다.
- 공간 레이아웃 제어 (Spatial Layout Control): 프롬프트에 bounding-box coordinates를 지정하여 피사체, 텍스트 요소, 배경 영역을 명시적으로 배치할 수 있습니다.
- 색상 팔레트 조건화 (Color Palette Conditioning): 프롬프트 내에 hex colors를 지정하여 이미지의 지배적인 색 구성표를 조종할 수 있습니다.
학습 및 추론 철학 (Training & Inference Philosophy)
Ideogram 4는 training과 inference가 단일의 공통 프롬프트 형식을 공유하도록 JSON 형식으로만 학습되었습니다. 학습에 사용된 JSON caption은 이미지 내의 모든 것을 철저하게 묘사하여, 각 캡션이 텍스트-이미지 관계를 명확하게 정의함으로써 모델이 단일 학습 쌍에서 최대의 grounded supervision을 추출할 수 있도록 합니다. 추론 시에도 JSON 프롬프트를 사용하는 것이 최상의 결과를 얻는 방법이며, 이는 모델이 해당 구조에 익숙하기 때문입니다. 사용자가 직접 JSON을 작성하지 않아도 "Magic Prompt" LLM이 plain-text 프롬프트를 완전한 structured caption으로 확장해줍니다.
성능 (Performance)
Ideogram 4는 다양한 타사 및 자체 벤치마크(Design Arena, ContraLabs, LMArena, 내부 human-preference benchmark, 7Bench, SpatialGenEval, X-Omni OCR, Prism)에서 강력한 성능을 입증했습니다. 특히 디자인 지향적 생성 및 텍스트 렌더링에서 최고 수준의 open-weight 모델이며, 폐쇄형 소스 모델과의 격차를 좁혔습니다.
기술 사양 (Technical Specifications)
모델은 9.3B 매개변수(parameters)를 가집니다. nf4 및 fp8 양자화(quantization) 버전을 제공합니다.