이 문서는 Google의 최신 멀티모달 모델인 Gemini Omni Flash의 기능과 Interactions API를 활용한 비디오 생성 및 편집 방법을 상세히 설명합니다. 주요 내용은 다음과 같습니다.

1. 핵심 기술 및 모델 개요

Gemini Omni Flash(gemini-omni-flash-preview)는 텍스트, 이미지, 오디오, 비디오를 동시에 처리하는 Native multimodality를 기반으로 하며, 다음과 같은 특징을 갖습니다.

• Conversational editing: Interactions API를 통해 자연어 대화 방식으로 비디오를 반복적으로 수정하며, 이전 상태를 유지하면서 특정 요소만 변경 가능합니다.
• World knowledge: 물리 법칙에 대한 이해와 역사, 과학, 문화적 지식을 결합하여 사실적인 묘사와 스토리텔링을 지원합니다.

2. 주요 생성 및 편집 방법론

• Text-to-Video: 프롬프트를 통해 비디오와 오디오를 생성하며, 카메라 이동, 조명, 분위기 등을 상세히 기술할수록 결과물의 품질이 향상됩니다.
• Image-to-Video 및 Subject Reference: 이미지 파일을 제공하여 비디오의 시작 프레임으로 사용하거나, 특정 피사체(Subject)에 대한 참조 데이터로 활용할 수 있습니다. 이때 태그 시스템($<FIRST_FRAME>$, $<IMAGE_REF_N>$)을 사용하여 역할(Role)을 명확히 지정할 수 있습니다.
• Stateful Video Editing: previous_interaction_id를 활용하여 비디오 생성 이력을 추적합니다. 이를 통해 전체 내용을 다시 설명하지 않고도 특정 개체 제거, 스타일 변경 등 증분 편집(Incremental changes)이 가능합니다.
• Task Parameter: generation_config 내 video_config의 task 필드를 통해 text_to_video, image_to_video, reference_to_video, edit 중 적절한 작업을 명시하여 모델의 추론 성능을 최적화할 수 있습니다.

3. 기술적 사양 및 데이터 처리

• 데이터 전송: 비디오 데이터는 Base64 인코딩을 통해 처리되나, 4MB 이상의 대용량 파일은 $delivery="uri"$ 옵션을 사용하여 Google 호스팅 URI로 전달받는 것을 권장합니다.
• 폴링(Polling) 메커니즘: uri 방식으로 요청된 비디오는 files.get API를 통해 ACTIVE 상태가 될 때까지 폴링한 후 다운로드해야 합니다.
• REST API 구조: 요청 시 steps 배열 내에 사용자 입력, 추론 과정(thought), 결과물(model_output)이 포함된 JSON 구조를 갖습니다.

4. 제약 사항 및 프롬프트 최적화

• 제약 사항: EU, 스위스, 영국 지역의 미성년자 포함 이미지 처리 금지, 편집 기능의 지역 제한, 다중 비디오 참조 지원 미비 등이 존재합니다. 시스템 명령이나 온도(Temperature) 파라미터는 지원하지 않습니다.
• 프롬프트 가이드: "단일 숏(Single scene)" 유지, "Keep everything else the same"을 통한 일관성 유지, 구체적인 시간대 지정(예: [0-3s]) 등 자연어 기반의 정교한 프롬프트 기법이 요구됩니다.
• 워터마킹: 생성된 모든 비디오에는 출처 확인을 위한 SynthID 워터마크가 삽입됩니다.