Meta Superintelligence Labs에서 발표한 Muse Image 및 Muse Video는 에이전트(Agent) 기반의 미디어 생성 모델로, 기존의 단순한 프롬프트-이미지 매핑 방식에서 벗어나 추론과 도구 사용을 통해 생성 품질을 극대화한 것이 특징입니다.

핵심 방법론 및 기술적 특징

1. 에이전트 기반 생성 및 도구 활용 (Tool Use)
   • Coding: 강화학습(Reinforcement Learning) 과정을 통해 모델이 직접 코드를 작성하고 실행합니다. 이를 통해 정확한 그래프나 QR 코드를 생성하고, 렌더링된 수치를 바탕으로 이미지의 정확도를 높입니다. 예를 들어, $S = \frac{n(n + 1)}{2}$와 같은 수학적 표현을 정확하게 시각화합니다.
   • Search: 실시간 웹 검색 기능을 활용하여 생성 이미지에 사실적인 기반 정보를 제공합니다. 지식 집약적인 프롬프트나 최신 사건에 대해 외부 참조 데이터를 확보함으로써 생성 결과의 사실적 정확도(Factual Accuracy)를 향상합니다.

2. 창발적 자기 정제 (Emergent Self-Refinement)
   • 모델은 강화학습 과정에서 스스로 결과물을 평가하고 수정하는 능력을 학습했습니다. 이는 명시적인 설계가 아닌, 더 나은 이미지 생성에 대한 보상을 최대화하는 과정에서 발생한 창발적(Emergent) 행위입니다. 모델은 세부 사항이 틀렸을 때 일부분만 수정하거나, 전체를 새로 생성하거나, 혹은 더 적절한 도구를 사용하는 방식으로 추론 체인(Chain of Thought) 내에서 자기 정제를 수행합니다.

3. Test-Time Compute Scaling
   • 언어 모델과 마찬가지로, 추론 시점에 더 많은 연산(Test-Time Compute)을 투입할수록 성능이 향상됩니다. 단순히 여러 번 생성하여 최상의 결과물을 뽑는 Best-of-N (BoN) 방식보다, 모델이 스스로 추론하고 도구를 호출하는 과정에 연산 자원을 집중하는 것이 인간의 선호도(Elo scores) 측면에서 훨씬 효과적입니다. 이러한 연산량과 성능 사이에는 대략적인 Log-linear Scaling 법칙이 관찰됩니다.

4. 이미지 및 비디오 생성 기술
   • Multi-Reference Composition: 사용자가 제공하는 다수의 참조 이미지를 결합하여 인물, 사물, 스타일, 환경 등을 합성하는 정교한 편집 기능을 제공합니다.
   • Muse Video: Muse Image와 동일한 사전 학습 기반을 공유하며, 프롬프트 준수 능력과 시각적 충실도가 뛰어납니다. 향후 오디오-비디오 동기화 및 물리적으로 정확한 빠른 동작을 개선할 예정입니다.
   • Content Seal: 생성된 미디어의 출처를 추적할 수 있도록 보이지 않는 워터마크 기술을 적용하여, 이미지의 크기 조절이나 압축 등 변형이 일어나도 AI 생성 여부를 판별할 수 있도록 지원합니다.

요약하자면, Muse 모델은 단순 생성기를 넘어 도구 사용, 자기 성찰, 그리고 추론 연산의 스케일링을 통해 고도의 정확성과 편집 유연성을 확보한 차세대 생성형 AI 플랫폼입니다.