Service
GitHub - Leonxlnx/earshot: Ears for coding agents: let AI hear, review and make sound. CPU-only, open source.
Leonxlnx
2026.11.16
·GitHub·by Mineru#Agent#AI#LLM#ML#Transformer
핵심 포인트
- 1**earshot**은 AI 코딩 에이전트가 오디오를 직접 듣고 분석하며 평가할 수 있도록 돕는 CPU 기반의 오픈 소스 도구입니다.
- 2이 플랫폼은 `describe`, `match`, `critique` 등 다양한 CLI 명령어를 통해 오디오 파일의 특징을 추출하고, `forge` 기능을 활용해 물리적 합성 방식으로 고품질의 사운드를 직접 생성 및 개선합니다.
- 3특히 영상 제작 시 오디오 트랙의 동기화와 품질을 측정하는 scorecard를 제공하며, MCP(Model Context Protocol)를 통해 AI 에이전트와 연동되어 사운드 설계 작업을 자동화할 수 있습니다.
Earshot은 AI Coding Agent가 사운드를 청취, 분석, 생성 및 검증할 수 있도록 설계된 CPU 기반의 오픈 소스 도구 모음입니다. 이 프로젝트는 AI Agent가 단순히 코드를 작성하는 단계를 넘어, 자신이 생성한 결과물의 품질(사운드)을 객관적으로 평가하고 개선할 수 있는 '청각적 지능'을 제공하는 데 목적이 있습니다.
핵심 방법론 및 기술적 상세
Earshot은 오디오를 모델 기반의 의미론적 분석과 모델 무관(Model-free)의 객관적 측정으로 나누어 처리합니다.- 오디오 분석 및 서술 (Audio Analysis & Description):
CLAP(Contrastive Language-Audio Pretraining)과AudioSet태거(Tagger)를 활용하여 사운드의 의미적 특성을 태깅하고 측정합니다.describe명령은 사운드의 물리적 속성( peak, brightness, envelope 등)과 함께 -score를 사용하여 후보군과의 유사도를 산출합니다.timeline및critique기능을 통해 영상의 컷(Cut)과 사운드 이벤트 간의 동기화 상태를 시계열로 정량화하여 평가합니다.
- 물리 기반 사운드 생성 (Earshot Forge):
- 사전 녹음된 샘플을 재생하는 방식이 아니라, Physical Synthesis(modal resonators, contact excitations, filtered noise)를 기반으로 코드로 사운드를 작성(Recipe)합니다.
- Critic 시스템: 생성된 사운드는 모델 기반의 점수(Realness, Description match)뿐만 아니라, 모델 무관 평가(1/3-octave Tonal Balance, Spectro-temporal Envelope, 고조파 왜곡, aliasing 등)를 거칩니다.
- 진화적 탐색(Evolutionary Search): 정해진 예산(Budget) 내에서 변이(Mutation)를 통해 최적의 파라미터를 찾아내며, robust re-render를 통해 결과의 일관성을 검증합니다.
- 오디오-투-코드 변환 (Earshot Fit):
- Analysis-by-synthesis 기법을 사용하여 기존 녹음 파일을 재구성 가능한 코드 모듈(Forge recipe)로 변환합니다.
- 소리의 구조적 요소를 파악하여 Damping, Pitch, Brightness 등 파라미터 변형이 가능하도록 만들며, cosine 유사도()를 통해 원본과의 근접성을 측정합니다.
- 사운드 라이브러리 및 키트 (SFX & Kits):
sfx를 통해 252개의 사운드 뱅크를 제공하며, 각 사운드는 명확한 물리적 규격(Dur, Apex, Pitch 등)을 기반으로 제어됩니다.launch키트 프리셋은 영상의 배경음악(Music Bed)과 사운드 효과 간의 레벨 밸런스()와 타이밍()을 최적화하여, 전문가 수준의 launch film 사운드 디자인을 자동으로 구현합니다.
시스템 특징
- Local & Offline: 모든 모델은 로컬 CPU 환경에서 작동하며, 설정을 통해 네트워크 연결 없이 독립적으로 실행 가능합니다.
- MCP(Model Context Protocol) 지원: Claude Code와 같은 Agent가 MCP 서버를 통해 오디오 분석 도구를 실시간으로 호출하고 오디오 피드백을 받을 수 있도록 연결합니다.
- 검증 체계: 모든 평가는
docs/VALIDATION.md에 정의된 측정 도구를 거치며, 객관적 지표(LUFS, LRA, Spectrogram 등)와 결합하여 환각(Hallucination)을 방지합니다.