"Interaction Models: A Scalable Approach to Human-AI Collaboration" 논문은 현재의 AI 모델과 인터페이스가 가지는 Human-AI 협업의 '병목(bottleneck)' 문제를 해결하기 위해 'Interaction Model'이라는 새로운 접근 방식을 제안한다. 기존의 AI는 주로 자율적인(autonomous) 작업 수행 능력에 초점을 맞추어 개발되었으며, 사용자 입력이 완료되거나 모델 생성이 끝날 때까지 대기하는 'turn-based' 인터페이스를 사용한다. 이러한 방식은 현실 세계의 협업, 특히 인간이 서로 대화하고 피드백을 주고받는 방식과는 거리가 멀다. 이 논문은 AI가 사람과 상호작용하는 방식을 개선하여, 인간이 AI와 자연스럽게 협력할 수 있도록 연속적인(continuous) 오디오, 비디오, 텍스트를 실시간으로 받아들이고, 생각하고, 반응하며, 행동하는 모델을 목표로 한다.

핵심 방법론은 Interaction Model이 'external scaffolding'이나 'harness' 없이 자체적으로 상호작용을 처리하게 하는 것이다. 이는 모델의 'intelligence'와 'interactivity'가 함께 스케일될 수 있도록 한다. 기존 시스템들은 VAD(Voice Activity Detection)와 같은 구성 요소를 사용하여 'turn boundary'를 예측하는 'harness'를 통해 실시간성을 에뮬레이트하지만, 이는 모델의 지능보다 덜 지능적이며("bitter lesson"), 능동적인 개입이나 시각적 단서에 대한 반응과 같은 복잡한 상호작용 모드를 제한한다.

이 논문에서 제안하는 Interaction Model은 다음 두 가지 핵심 아이디어를 기반으로 한다:

1. 시간 인식 상호작용 모델 (Time-aware Interaction Model): 사용자와 실시간으로 끊임없이 상호작용하며 'presence'를 유지한다.
2. 비동기 백그라운드 모델 (Asynchronous Background Model): 상호작용 모델이 즉시 처리하기 어려운 깊은 추론, 도구 사용(tool use), 또는 장기적인(longer-horizon) 작업을 처리하기 위해 위임(delegate)하는 역할을 한다. 두 모델은 컨텍스트를 공유하며, 백그라운드 모델의 결과는 상호작용 모델에 의해 적절한 시점에 대화에 통합된다.

상호작용 모델 (Interaction Model)의 기술적 세부사항:

• 시간 정렬 마이크로-턴 (Time-aligned Micro-turns): 상호작용 모델은 200ms 단위의 '마이크로-턴(micro-turns)'으로 작동한다. 이는 입력 처리와 출력 생성을 지속적으로 교차(interleaving)하는 방식으로, 완전한 사용자 턴을 소비하고 완전한 응답을 생성하는 대신, 입력 및 출력 토큰을 스트림(streams)으로 처리한다. 이 200ms 단위의 처리는 여러 입력 및 출력 양식(modalities)에 걸쳐 거의 실시간 동시성(near real-time concurrency)을 가능하게 한다.
  • 인간의 인지(Human perception)는 동시적인 입력 및 출력 스트림을 보존하지만, 모델은 단일하게 인터리브된 토큰 시퀀스를 받는다. 이는 모델이 인위적인 턴 경계에 구애받지 않도록 한다.
• 인코더 없는 조기 융합 (Encoder-free Early Fusion): 대규모 독립형 인코더(예: Whisper-like for audio, TTS model-like for audio generation)를 통해 오디오 및 비디오를 처리하는 대신, 최소한의 전처리(pre-processing)를 사용한다.
  • 오디오 입력: dMel (Bai et al., 2024) 신호를 받아 'light-weighted embedding layer'를 통해 변환한다.
  • 이미지 입력: 40x40 패치로 분할되어 hMLP (Touvron et al., 2022)에 의해 인코딩된다.
  • 오디오 디코더: 'flow head' (Lipman et al., 2022)를 사용한다.
  • 이 모든 구성 요소들은 트랜스포머(Transformer)와 함께 처음부터(from scratch) 공동으로 학습(co-trained)된다. 이는 각 모달리티의 정보를 초기에 융합하고, 모델의 모든 부분이 상호작용에 최적화되도록 한다.
• 추론 최적화 (Inference Optimization): 200ms 청크는 엄격한 지연 시간 제약(strict latency constraints)을 충족해야 하는 빈번한 'prefill' 및 'decode' 작업을 요구한다.
  • 스트리밍 세션 (Streaming Sessions): 클라이언트는 각 200ms 청크를 별도의 요청으로 보내고, 추론 서버는 이 청크들을 GPU 메모리의 영구 시퀀스에 추가한다. 이는 빈번한 메모리 재할당(reallocations) 및 메타데이터 계산(metadata computations)을 방지한다.
  • 커널 최적화 (Kernel Optimization): 양방향 서비스(bidirectional serving)에 필요한 모양(shapes)과 지연 시간에 최적화된 커널을 구현한다. 예를 들어, MoE(Mixture-of-Experts) 커널의 경우, 표준 'grouped gemm' 대신 'gather+gemv' 전략을 사용한다.
• 트레이너-샘플러 정렬 (Trainer-sampler Alignment): 학습 안정성과 시스템 구성 요소 디버깅을 위해 'bitwise trainer-sampler alignment'를 사용한다.
  • 'Batch-invariant kernels'을 구현하여 성능 오버헤드를 최소화한다.
  • 'All-reduce' 및 'reduce-scatter'와 같은 통신 커널에 NVLS를 사용하여 낮은 지연 시간과 결정론적 동작을 보장한다.
  • 어텐션(Attention)의 경우, 'Split-KV' 문제를 해결하기 위해 디코드와 프리필 간에 일관된 축적 순서(consistent accumulation order)를 유지하여 불일치를 방지한다.

능력 (Capabilities):
Interaction Model은 다음과 같은 능력을 제공한다:

• 원활한 대화 관리 (Seamless Dialog Management): 사용자가 생각 중인지, 양보하는지, 스스로 수정하는지, 응답을 요청하는지 등을 모델이 암묵적으로 추적한다. 별도의 대화 관리 구성 요소가 필요 없다.
• 언어적 및 시각적 개입 (Verbal and Visual Interjections): 사용자가 말하기를 마칠 때뿐만 아니라, 컨텍스트에 따라 필요한 경우 언제든지 개입할 수 있다.
• 동시 발화 (Simultaneous Speech): 사용자와 모델이 동시에 말할 수 있다 (예: 실시간 번역).
• 시간 인식 (Time-awareness): 모델이 경과된 시간을 직접적으로 인식한다.
• 동시 도구 호출, 검색 및 생성 UI (Simultaneous Tools Calls, Search, and Generative UI): 사용자의 말을 듣거나 들으면서 동시에 검색을 수행하거나 웹을 브라우징하거나 UI를 생성하고, 필요한 경우 결과를 대화에 통합할 수 있다.

벤치마크 및 결과:
이 논문은 TML-Interaction-Small 이라는 276B 파라미터의 MoE(Mixture-of-Experts) 모델 (12B active)을 제시한다. 이는 'intelligence'와 'interactivity'를 동시에 측정하는 벤치마크에서 기존 모델들을 능가한다.

• Intelligence: Audio MultiChallenge 벤치마크 (APR)를 사용한다.
• Interactivity: FD-bench v1.5 (평균 품질) 및 FD-bench v1 (단순 턴-테이킹 지연 시간)을 사용한다. TML-Interaction-Small은 턴-테이킹 지연 시간 0.40초로 기존 모델보다 빠르며, FD-bench v1.5에서 77.8의 높은 점수를 기록했다.
• 새로운 차원의 상호작용 (New Dimensions of Interactivity): 기존 벤치마크가 포착하지 못하는 질적 향상을 측정하기 위해 자체 벤치마크를 도입했다.
  • TimeSpeak (시간 인식): 모델이 사용자 지정 시간에 올바른 콘텐츠로 발화를 시작할 수 있는지 테스트한다 (예: "4초마다 숨을 들이쉬고 내쉬라고 상기시켜 줘").
  • CueSpeak (언어적 단서에 기반한 발화): 모델이 코드를 전환하는 등 특정 언어적 단서에 반응하여 즉시 적절한 응답을 제공하는지 테스트한다.
  • RepCount-A (시각 기반 카운팅): 모델이 실시간 비디오 스트림에서 반복되는 동작을 지속적으로 시각적으로 추적하고 적시에 카운트하는지 측정한다 (예: 팔굽혀펴기 횟수 세기).
  • ProactiveVideoQA (시각적 능동성): 비디오를 시청하며 질문에 대한 답이 비디오에서 제공되는 특정 순간에 모델이 능동적으로 응답하는지 테스트한다.
  • Charades (시각적 능동성, 행동 현지화): 비디오에서 특정 행동이 시작되고 끝나는 순간을 정확히 감지하여 "시작"과 "정지"를 말하는지를 측정한다.
  • 이러한 새로운 벤치마크에서 TML-Interaction-Small은 TimeSpeak 64.7%, CueSpeak 81.7%, RepCount-A 35.4%, ProactiveVideoQA 33.5%, Charades 32.4%의 성능을 보였으며, 기존 모델들은 대부분 5% 미만이거나 노-응답(no-response) 기준점 수준의 낮은 성능을 보였다.

한계 및 향후 작업:

• 장기 세션 (Long Sessions): 연속적인 오디오 및 비디오 입력은 빠르게 컨텍스트를 축적하므로, 매우 긴 세션에 대한 컨텍스트 관리가 필요하다.
• 컴퓨팅 및 배포 (Compute and Deployment): 낮은 지연 시간으로 오디오 및 비디오 스트리밍을 처리하려면 안정적인 연결이 필수적이다.
• 정렬 및 안전 (Alignment and Safety): 실시간 상호작용은 안전 및 정렬 연구에 새로운 영역을 제시한다.
• 모델 크기 스케일링 (Scaling Model Size): 현재 TML-Interaction-Small은 276B 파라미터 모델이지만, 더 큰 모델은 아직 실시간 서비스에 너무 느리다.
• 향상된 백그라운드 에이전트 (Improved Background Agents): 실시간 상호작용이 중점적으로 다루어졌지만, 백그라운드 에이전트의 에이전트적 지능(agentic intelligence)과의 협력도 중요하다.