Fish Audio Drama 3는 다중 캐릭터 시나리오와 장문 콘텐츠 생성을 위해 설계된 차세대 텍스트 음성 변환(Text-to-Speech, TTS) 모델입니다. 이 모델은 350억 개의 파라미터로 구성되어 있으며, 추론 시 토큰당 30억 개의 파라미터를 활성화하는 혼합 전문가(Mixture-of-Experts, MoE) 구조를 채택하고 있습니다.

핵심 방법론 및 기술적 특징

1. 모델 아키텍처:
   • MoE Text Backbone: 고효율 연산을 위해 MoE 구조를 기반으로 하며, 하이브리드 어텐션(Full + Linear Attention) 메커니즘을 사용하여 장문 맥락 처리 능력을 극대화했습니다.
   • 가중치 정밀도: 연산 효율성을 위해 FP8 MoE 전문가(Experts)를 사용하고, 나머지 가중치는 bf16 정밀도를 유지하여 성능과 효율 사이의 균형을 맞췄습니다.

2. 오디오 디코더:
   • Codebook-MTP (Masked Token Prediction) Decoder: 전체 시퀀스에 걸쳐 10개의 코드북을 인과적(causally)으로 디코딩하는 방식을 사용합니다. 이는 오디오 생성의 일관성과 자연스러움을 보장합니다.

3. 기능적 특징:
   • 다중 화자 지원: 최대 16명의 캐릭터를 동시에 지정할 수 있는 화자 태그($<|speaker:0|>$ ~ $<|speaker:15|>$)를 제공하여 복잡한 대화 시나리오를 구성할 수 있습니다.
   • 자연어 제어 및 편집: 단순 TTS뿐만 아니라, 특정 지점에 이벤트를 삽입하는 포인트 태그(Point tags)와 이전 음성 토큰을 기반으로 내용을 수정하는 편집 기반 연속 생성(Editing as continuation) 기능을 지원합니다.
   • 스트리밍 최적화: 긴 텍스트를 자동으로 청크(chunk) 단위로 나누어 스트리밍함으로써 대기 시간을 최소화합니다.

4. 성능 및 배포:
   • SGLang-Omni: 모델은 출시 시점부터 SGLang-Omni를 통해 배포되며, 고도의 동시성 환경에서 최적화된 성능을 제공합니다.
   • 효율적인 추론: 단일 H200 GPU 환경에서 100ms 미만의 TTFA(Time to First Audio)를 달성하며, 보코더(Vocoder)를 별도의 GPU에 배치하는 전략을 통해 대규모 동시 요청 환경에서도 높은 처리량(Throughput)과 낮은 RTF(Real-Time Factor)를 유지합니다.

결론적으로, Fish Audio Drama 3는 대규모 파라미터와 MoE 아키텍처, 그리고 인과적 코드북 디코딩을 결합하여 복잡한 다중 화자 드라마 환경에서 매우 높은 수준의 음성 합성 품질과 실시간 스트리밍 성능을 제공하는 모델입니다.