Seed3D 2.0는 고품질의 대규모 3D 콘텐츠 생성을 위한 차세대 모델로, 기하학적 정밀도와 재료 리얼리즘을 크게 향상시켰습니다. 이는 단일 이미지로부터 3D 모델을 엔드-투-엔드로 생성하며, 특히 Embodied AI 및 산업 제조와 같은 분야에서 요구되는 프로덕션-등급(production-grade) 3D 콘텐츠 요구사항을 충족하는 데 중점을 둡니다.

1. Geometry Generation: Two-stage DiT
Seed3D 2.0의 핵심적인 발전 중 하나는 기하학적 품질 향상입니다. 이전 Seed3D 1.0은 "전체 구조(overall structure)"와 "미세한 디테일(fine details)"을 동시에 생성하여 날카로운 모서리(sharp edges)나 미세 구조에서 "소프트닝(softening)" 현상을 겪었습니다. Seed3D 2.0은 이를 해결하기 위해 Coarse-to-Fine 방식의 2단계(two-stage) 생성 전략을 도입하여 전체 구조와 미세 디테일을 분리하여 최적화합니다.

• Stage 1: Coarse Geometric Structure Generation: 입력 이미지로부터 DiT(Diffusion Transformer)를 사용하여 거친(coarse-grained) 기하학적 구조를 생성합니다. 이 단계는 전체적인 위상 관계(topological relationships)와 공간 레이아웃(spatial layout)을 설정합니다.
• Stage 2: High-Precision Detail Generation: Stage 1의 출력을 기하학적 앵커(geometric anchors)로 활용하여 날카로운 모서리와 정교한 표면(refined surfaces)과 같은 세부 정보를 복구하는 데 집중합니다. 이를 위해 두 가지 주요 Prior를 도입합니다:
  • Local-aware prior: Stage 1의 거친 결과물을 잠재 변수(latent variables)로 변환하여 후속 디테일 생성에 안정적인 초기화(reliable initialization)를 제공, "처음부터 생성(generating from scratch)"하는 불안정성을 피합니다.
  • Voxelized positional encoding: Stage 1에서 생성된 기하학적 표면에서 샘플링된 점들을 복셀화(voxelized)하여 위치 인코딩(positional encodings)으로 사용하고, 모델에 공간적 제약(spatial constraints)을 제공합니다.

또한, VAE(Variational Autoencoder)의 업그레이드를 통해 더 적은 토큰으로 더 높은 재구성 충실도(reconstruction fidelity)를 달성하여 로컬 영역의 디테일 표현을 향상시키고 추론 효율성(inference efficiency)을 높였습니다. 정성적 및 정량적 평가에서 Seed3D 2.0은 복잡한 형상의 미세 모서리 렌더링, 얇은 벽 구조(thin-walled structures) 생성 및 입력 이미지에 대한 충실도(fidelity) 측면에서 기준 모델들을 능가하는 성능을 보였습니다.

2. Texture Generation: A Unified PBR Model
Seed3D 2.0은 텍스처(texture)와 재료(material)의 사실성을 위해 통합된 PBR(Physically Based Rendering) 생성 모델을 도입했습니다. Seed3D 1.0은 RGB 생성과 PBR 분해를 위한 캐스케이드(cascaded) 모델을 사용하여 중간 단계에서 오류가 누적될 수 있었습니다. Seed3D 2.0은 MMDiT(Multi-Modal Diffusion Transformer) 이중 스트림 아키텍처(dual-stream architecture)를 유지하면서 모달리티별 투영 레이어(modality-specific projection layers)를 사용하여 공유 DiT 레이어 내에서 전체 PBR 텍스처 맵 세트(full set PBR texture maps)를 공동으로 처리합니다.

이 통합된 아키텍처 위에서 두 가지 주요 혁신이 이루어졌습니다:

• MoE(Mixture of Experts) Architecture: 고해상도 텍스처의 디테일을 정교하게 다듬고 경계(boundaries)를 선명하게 하기 위해 MoE 아키텍처를 채택했습니다. 이는 모델의 매개변수와 해상도를 확장하면서도 희소한 전문가 라우팅(sparse expert routing)을 통해 추론 계산을 제어하여 풍부한 텍스처 디테일과 정확한 금속-거칠기 경계(metal-roughness boundaries) 생성을 가능하게 합니다.
• VLM(Vision-Language Model) Priors: 보이지 않는 조명(unseen lighting) 하에서 재료 분해의 안정성과 정확성을 높이기 위해 VLM Prior를 활용합니다. VLM은 입력 이미지의 재료 유형 및 물리적 속성에 대한 설명을 생성하며, 이 설명은 추가 제어 신호(additional control signals)로 DiT에 주입되어 재료 분해를 훨씬 더 안정적이고 합리적으로 만듭니다.

정성적 평가에서 Seed3D 2.0은 포토리얼리즘(photorealism), 재료 품질, 시각적 디테일 측면에서 기준 모델을 지속적으로 능가했으며, 특히 스테인리스 스틸 냄비와 같은 객체에서 미묘한 거칠기 변화와 사실적인 금속 마감을 구현했습니다.

3. Downstream Applications: Part-Level Generation and Scene Composition
Seed3D 2.0은 다운스트림 시나리오에서의 활용성을 확장하기 위해 다음 기능을 제공합니다:

• Part-Level Generation 및 Articulated Modeling: 3D 모델을 기능적 구성 요소(functional components)로 분해하고 개별 부품의 전체 형상을 완성하는 "이해-후-생성(understand-then-generate)" 패러다임을 채택합니다. Seed3D-PartSeg 3D 이해 모듈은 전체 3D 메쉬(mesh)에 대한 표면 분할(surface segmentation)을 수행하며, Seed3D-PartDiT는 글로벌 3D 형상, 분할된 점 구름(segmented point clouds) 및 이미지를 입력으로 사용하여 생성 네트워크를 훈련하고 파트 레벨 메쉬를 완성합니다.
  • 여기서 더 나아가, VLM을 활용하여 파트를 운동학적 구성 요소(kinematic components)로 분해하고 조인트 유형(joint types)을 식별하며, 기하학적 Prior를 통해 조인트 축(joint axes)을 추정합니다. 물리적 동작의 타당성(physical plausibility)을 보장하기 위해 이미지-비디오 모델(image-to-video model)을 통해 동작 참조(motion references)를 생성하고 조인트가 있는 파트의 동작 범위(range of motion)를 최적화합니다. 최종적으로 URDF(Unified Robot Description Format)와 같은 표준 형식으로 완전한 조인트 정보가 포함된 3D 콘텐츠를 출력하여 Isaac Sim과 같은 주류 물리 시뮬레이션 엔진과의 호환성을 달성합니다.
• Scene Composition: 단일 객체 생성 기능을 장면 생성으로 확장합니다. 텍스트 입력의 경우, 미세 조정된 LLM(Large Language Model)을 사용하여 공간 추론 및 레이아웃 생성을 수행하며, 다중 뷰 이미지 또는 비디오 입력의 경우, 깊이 추정(depth estimation)과 인스턴스 분할(instance segmentation), 폐색 인페인팅(occlusion inpainting)과 같은 시각적 신호를 활용하여 장면의 공간적 레이아웃을 추론합니다. 레이아웃이 확보되면, Seed3D 2.0은 3D 콘텐츠를 개별적으로 생성하고 공간적 관계에 따라 조립하여 풍부하고 완전한 장면을 구성할 수 있습니다. Part-level 생성 및 Articulated Modeling 기능이 통합되어, 생성된 장면 내 객체는 물리적 상호작용(physical interactions)을 지원하는 Articulated 3D 콘텐츠로 변환될 수 있습니다.

4. 결론 및 전망
Seed3D 2.0은 기하학적 정밀도, PBR 재료 품질 및 다운스트림 유용성 측면에서 상당한 진전을 이루었습니다. 그러나 3D 생성은 디테일 정밀도 및 일반화(generalization)의 개선 여지, 텍스처 생성에서의 폐색(occlusion) 및 매핑 오류(mapping errors), 대규모 배포 시 추론 효율성 제약 등 여전히 장기적인 과제에 직면해 있습니다. Seed3D 팀은 이러한 과제를 해결하고 3D 생성 기술의 확장 가능한 적용을 더욱 다양하고 복잡한 시나리오로 확장하는 데 전념하고 있습니다.