OpenAI는 개발자를 위한 새로운 차원의 음성 애플리케이션을 구현하기 위해 세 가지 오디오 모델을 API에 도입하였다. 이 모델들은 음성 인터페이스를 더욱 자연스럽고 지능적이며 실시간으로 반응하도록 설계되었다.

주요 모델은 다음과 같다:

1. GPT-Realtime-2: GPT-5-class의 추론 능력을 갖춘 음성 모델로, 복잡한 요청을 처리하고 대화를 자연스럽게 이어나갈 수 있다.
2. GPT-Realtime-Translate: 70개 이상의 입력 언어에서 13개의 출력 언어로 실시간 음성 번역을 제공하며, 화자의 말하는 속도에 맞춰 번역한다.
3. GPT-Realtime-Whisper: 화자가 말하는 대로 실시간으로 음성을 텍스트로 변환하는 스트리밍 STT(Speech-to-Text) 모델이다.

특히 GPT-Realtime-2는 실시간 음성 상호작용에 특화되어 있으며, 대화가 진행되는 동안 요청을 추론하고, 도구를 호출하며, 수정이나 방해를 처리하고, 상황에 맞는 응답을 제공한다. 이 모델의 핵심적인 기능 및 방법론은 다음과 같다.

• Preambles: 응답 전에 "잠시 확인해보겠습니다"와 같은 짧은 구문을 통해 사용자에게 에이전트가 요청을 처리 중임을 알릴 수 있다.
• Parallel tool calls and tool transparency: 모델은 동시에 여러 도구를 호출할 수 있으며, "캘린더를 확인 중입니다"와 같은 구문으로 사용자가 도구 사용 상황을 인지하도록 하여 에이전트의 반응성을 유지한다.
• Stronger recovery behavior: 대화가 중단되거나 침묵하는 대신, "현재 문제가 발생했습니다"와 같이 더욱 유연하게 오류를 처리하고 대화를 이어나갈 수 있다.
• Longer context for agentic workflows: 기존 32K에서 128K 토큰으로 컨텍스트 윈도우(context window)를 확장하여 더 길고 일관된 세션 및 복잡한 작업 흐름을 지원한다.
• Stronger domain understanding: 전문 용어, 고유명사, 의료 용어 등 특정 도메인에 특화된 어휘를 더 잘 이해하고 유지한다.
• More controllable tone and delivery: 모델은 문제 해결 시 침착하게, 사용자가 좌절할 때 공감적으로, 성공적인 작업 확인 시 활기차게 등 상황에 맞춰 어조를 조절할 수 있다.
• Adjustable reasoning effort: 개발자는 추론 수준을 'minimal', 'low', 'medium', 'high', 'xhigh' 중에서 선택할 수 있으며, 기본값은 'low'이다. 이는 간단한 상호작용을 위한 낮은 지연 시간(latency)과 복잡한 요청을 위한 신중한 추론 사이의 균형을 맞춘다.

성능 측면에서 GPT-Realtime-2(high)는 오디오 인텔리전스 평가인 Big Bench Audio에서 GPT-Realtime-1.5보다 15.2% 높은 점수를 기록했다. 또한, GPT-Realtime-2(xhigh)는 다중 턴(multi-turn) 대화 지능 평가인 Audio MultiChallenge에서 GPT-Realtime-1.5보다 13.8% 높은 점수를 기록하여, 지시 따르기(instruction following), 컨텍스트 통합(context integration), 자기 일관성(self-consistency), 자연스러운 음성 수정 처리(handling natural speech corrections) 능력에서 향상된 성능을 보여주었다.

이러한 모델들은 음성을 사람과 제품 간의 인터페이스로 활용하는 세 가지 주요 패턴, 즉 Voice-to-action (요청에 따라 시스템이 추론하고 행동), Systems-to-voice (시스템이 컨텍스트에 기반하여 음성 안내 제공), Voice-to-voice (AI가 언어 및 작업 전반에 걸쳐 실시간 대화 지원)을 강화하여, 음성 AI의 발전된 활용 가능성을 제시한다.