원문 보기
GitHub - browser-use/video-use: Edit videos with coding agents
Service

GitHub - browser-use/video-use: Edit videos with coding agents

browser-use
2026.04.27
·GitHub·by 네루
#Agent#AI#Automation#LLM#Video Editing

핵심 포인트

  • 1`video-use`는 Claude Code와 같은 LLM을 활용하여 원본 영상을 드롭하면 대화형으로 자동으로 편집해주는 100% 오픈 소스 도구입니다.
  • 2이 시스템은 LLM이 직접 비디오를 시청하는 대신, ElevenLabs Scribe를 통한 오디오 트랜스크립트(텍스트)를 주된 정보로 사용하고 필요한 경우에만 시각적 컴포지트(PNG)를 요청하여 효율적인 편집을 가능하게 합니다.
  • 3편집 과정은 전사(Transcribe), 팩(Pack), LLM 추론(Reasons), EDL 생성, 렌더링, 그리고 자체 평가(Self-Eval)를 포함하며, 최종적으로 `final.mp4` 파일을 생성합니다.

video-use는 Claude Code와 같은 대형 언어 모델(LLM)을 활용하여 비디오 편집을 자동화하는 100% 오픈 소스 프로젝트입니다. 사용자가 원본 영상을 폴더에 넣고 LLM과 대화하면 최종 편집된 .mp4 파일을 생성합니다. 이 시스템은 특정 콘텐츠 유형에 구애받지 않고(예: talking heads, montages, tutorials, travel, interviews) 사전 설정이나 메뉴 없이 작동합니다.

이 프로젝트는 다음과 같은 핵심 기능을 제공합니다:

  • 필러(filler) 및 데드 스페이스(dead space) 제거: 'umm', 'uh'와 같은 불필요한 단어나 침묵 구간을 자동으로 잘라냅니다.
  • 자동 색 보정: 각 세그먼트에 대해 'warm cinematic', 'neutral punch'와 같은 미리 정의된 스타일 또는 사용자 정의 ffmpeg 체인을 적용하여 색 보정을 수행합니다.
  • 오디오 페이드: 모든 컷 경계에서 30ms의 오디오 페이드를 적용하여 오디오 팝(pop) 현상을 방지합니다.
  • 자막 생성: 기본적으로 두 단어의 대문자 청크(chunk)로 자막을 굽지만, 사용자 정의가 가능합니다.
  • 애니메이션 오버레이: Manim, Remotion, PIL 등을 통해 애니메이션 오버레이를 생성하며, 이는 병렬 서브-에이전트(sub-agents)에서 처리됩니다.
  • 렌더링된 출력 자체 평가: 렌더링된 출력물을 모든 컷 경계에서 자체 평가하여 시각적 문제나 오디오 결함을 사전에 감지하고 사용자에게 보여주기 전에 수정합니다.
  • 세션 메모리 유지: project.md 파일에 세션 메모리를 유지하여 중단된 지점부터 작업을 재개할 수 있습니다.

video-use의 핵심 방법론은 LLM이 비디오를 직접 시청하지 않고 "읽는다"는 점에 있습니다. 이는 두 가지 계층을 통해 구현됩니다.

  1. Layer 1 — Audio Transcript (항상 로드됨):
    • ElevenLabs Scribe API 호출을 통해 각 원본 영상에 대한 오디오 전사(transcription)를 생성합니다.
    • 전사는 단어 수준의 타임스탬프, 화자 분리(speaker diarization), 그리고 (laughter), (applause), (sigh)와 같은 오디오 이벤트를 포함합니다.
    • 모든 전사된 내용은 약 12KB 크기의 단일 takes_packed.md 파일로 압축되어 LLM의 주된 정보원 역할을 합니다. 예를 들어, 전사 내용은 다음과 같은 형식입니다:
## C0103 (duration: 43.0s, 8 phrases) [002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted. [006.08-006.74] S0 We fixed this.
  1. Layer 2 — Visual Composite (요청 시 제공):
    • timeline_view 함수는 지정된 시간 범위에 대한 필름 스트립, 파형(waveform), 단어 레이블을 포함하는 PNG 이미지를 생성합니다.
    • 이 시각 정보는 LLM의 결정이 필요한 시점(예: 모호한 일시 중지, 재촬영 비교, 컷 지점의 건전성 확인)에만 호출됩니다.
    • 이는 단순히 모든 프레임을 LLM에 제공하는 비효율적인 방식(예: 30,000 프레임 ×\times 1,500 토큰 = 45M 토큰)과 대조적으로, 12KB의 텍스트와 소수의 PNG 파일만을 사용하여 필요한 정보를 전달하는 효율적인 방식입니다. 이는 browser-use가 스크린샷 대신 구조화된 DOM을 LLM에 제공하는 방식과 유사합니다.

파이프라인(Pipeline)은 다음과 같은 단계로 구성됩니다:
Transcribe ──> Pack ──> LLM Reasons ──> EDL ──> Render ──> Self-Eval
└─ issue? fix + re-render (max 3)

Self-Eval 단계는 렌더링된 출력물을 모든 컷 경계에서 timeline_view를 사용하여 검사하여 시각적 점프(visual jumps), 오디오 팝(audio pops), 숨겨진 자막(hidden subtitles)과 같은 문제를 감지합니다. 이 단계에서 문제가 발견되면 최대 3회까지 수정 및 재렌더링을 시도한 후 사용자에게 미리보기를 보여줍니다.

설치 및 사용을 위해 install.md를 통해 ffmpeg, yt-dlp (선택 사항) 및 ElevenLabs API 키를 설정해야 하며, SKILL.md에 일상적인 사용법이 설명되어 있습니다. LLM은 이 도구를 통해 raw footage를 inventory하고, 편집 전략을 제안하며, 사용자 승인 후 edit/final.mp4를 생성합니다.