CrisperWhisper 2.0 요약

개요
CrisperWhisper 2.0은 음성 인식 시스템이 ‘실제로 발화된 내용(Verbatim)’과 ‘화자가 의도한 내용(Intended)’을 명시적으로 구분하여 처리할 수 있도록 설계된 고성능 음성 인식 모델입니다. 기존 시스템들이 훈련 데이터에 내재된 모호한 기준에 의존하던 것과 달리, 본 모델은 이를 제어 가능한 옵션으로 제공하며, 업계 최고 수준의 단어 단위 타임스탬프 정확도와 disfluency(비유창성) 인식 성능을 자랑합니다.

핵심 방법론 및 기술적 특징

1. Dual-Mode Transcription (Verbatim vs. Intended)
   • Verbatim mode: 채움어(fillers), 반복(repetitions), 중단(cut-offs), 발성 이벤트 등 발화된 모든 요소를 정확하게 기록합니다.
   • Intended mode: 문법적으로 정제된, 화자가 의도한 깔끔한 텍스트로 변환합니다.
   • 이 두 모드는 동일한 오디오 입력에 대해 독립적으로 혹은 transcribe_dual을 통해 한 번에 수행 가능합니다.

2. Verbatimize 기술
   • 기존의 깨끗한 텍스트 전사본(clean transcript)과 오디오가 주어졌을 때, 해당 오디오에 실제로 존재하는 비유창성만을 삽입하여 전사본을 고도화합니다. 이를 통해 희귀 단어 인식률(rare-word recall)을 6.8%에서 96.1%까지 향상시켜 데이터셋 구축 및 임상 음성 분석의 효율을 극대화합니다.

3. 고정밀 정렬 (Alignment)
   • Whisper의 교차 주의(cross-attention) 메커니즘을 감독하여 단어 경계를 정밀하게 추정합니다.
   • 읽기 음성(read speech)에서 약 30ms, 대화 음성에서 41ms의 평균 경계 오차(mean boundary error)를 달성하여 업계 최고의 타이밍 정확도를 기록했습니다.

4. Longform 처리 및 추론 최적화
   • Conditional continuation: 30초 이상의 긴 오디오 처리 시 기존의 불연속적인 청크(chunk) 방식 대신, 이전 윈도우에서 전사된 단어를 다음 윈도우의 조건으로 활용하여 청크 경계에서 발생하는 중복이나 누락 없이 매끄러운 전사를 수행합니다.
   • Speculative Decoding: CTranslate2 런타임을 기반으로 작은 draft 모델이 토큰을 제안하고 메인 모델이 이를 검증하는 방식을 통해 1.3~1.4배 빠른 추론 속도를 제공합니다.
   • Hallucination Mitigation: 디코딩 과정에서 Whisper 특유의 루핑(looping) 환각 현상을 실시간으로 감지하고 억제합니다.

벤치마크 성능
Nyra Verbatim Speech Benchmark에서 Disfluency F1 점수 기준 93.5(Pro 모델)를 기록하며, 타 상용 솔루션(ElevenLabs, Microsoft, Deepgram 등)을 압도적인 격차로 상회합니다. 이는 단순 단어 오류율(WER)을 넘어 fillers, repetitions, cut-offs 등을 분리하여 측정하는 보다 엄격한 평가 체계를 따릅니다.

라이선스 및 모델 정보

• 표준 모델: 비상업적 연구 목적으로는 무료이며, 상업적 활용을 위해서는 라이선스 계약이 필요합니다.
• Pro 모델: 상업용 라이선스 전용으로, 추가적인 독점 데이터로 학습되어 hotword boosting 등의 기능을 포함합니다.
• 구현은 CTranslate2 및 transformers 백엔드를 지원하며, NVIDIA GPU에서의 최적화된 성능을 제공합니다.