TurboVLA: 실시간 비전-언어-행동 모델의 새로운 패러다임

TurboVLA는 기존의 LLM 중심(LLM-centric) VLA 모델이 가진 추론 지연 시간과 메모리 오버헤드 문제를 해결하기 위해 고안된 효율적인 비전-언어-행동(Vision-Language-Action, VLA) 모델입니다. 기존 모델들이 시각 정보를 거대한 언어 모델의 토큰 공간으로 투영하여 처리하는 간접적인 $V \to L \to A$ 경로를 따르는 반면, TurboVLA는 시각과 언어를 직접 결합하는 $V + L \to A$ 방식을 채택하여 실시간 제어 성능을 극대화했습니다.

핵심 방법론 및 기술적 특징

1. 경량 모달리티 인코딩 (Multimodal Feature Encoding)
TurboVLA는 대규모 언어 모델을 거치지 않고 각 모달리티를 개별적으로 인코딩합니다.

• Instruction: BERT와 같은 경량 텍스트 인코더를 사용하여 지시사항을 토큰 단위로 인코딩합니다.
• Vision: DINOv3 비전 인코더를 사용하여 시각 정보를 추출하고, 위치 임베딩($E_{pos}$) 및 카메라 뷰 임베딩($e_{view}$)을 결합합니다.
• Robot State: 로봇의 상태 정보($s_n$)를 별도로 인코딩하여 하위 행동 디코더(Action Chunk Decoder)에 직접 공급합니다.

2. 직접적인 비전-언어 상호작용 (Vision-Language Interaction Module)
LLM의 추론 과정 없이도 지시사항이 시각적 특징을 조정할 수 있도록, 지상화(Grounding) 모델인 Grounding DINO의 구조에서 영감을 받은 교차 어텐션(Cross-Attention) 기반의 모듈을 도입했습니다.

• 비전 특징($Z^v$)과 언어 특징($Z^l$)은 $N$개의 양방향 교차 모달리티 계층을 통해 상호작용합니다.
• 계층적 업데이트 공식은 다음과 같습니다:

$(V^\ell_n, L^\ell_n) = \text{FusionLayer}^\ell(V^{\ell-1}_n, L^{\ell-1}_n)$

• 이를 통해 언어 지시는 시각적 특징 내에서 관련 객체와 공간 정보를 강화하고, 시각적 정보는 언어 표현을 현재 상황에 맞게 정교화합니다.

3. 비자기회귀적 행동 청크 예측 (Non-autoregressive Action Chunk Prediction)
TurboVLA는 토큰 단위의 순차적인 생성 방식 대신, ACT(Action Chunking with Transformers) 스타일의 디코더를 사용합니다.

• 학습 가능한 행동 쿼리(Action Queries, $Q_a$)를 활용하여 $H$ 단계의 연속적인 행동 청크를 단일 Forward Pass에서 병렬로 예측합니다.
• 최종 예측 공식은 다음과 같습니다: $\hat{A}_n = D_\theta(Q_a, [Z^{vl}_n; Z^s_n])$

실험 결과 및 성과

• 성능: LIBERO 벤치마크에서 97.7%의 평균 성공률을 기록하며, 기존의 대형 모델들과 대등하거나 더 뛰어난 성능을 보였습니다.
• 효율성: RTX 4090 GPU 환경에서 0.2B 파라미터만으로 1GB 미만의 VRAM을 점유하며, 31.2ms의 추론 지연 시간(약 32Hz)을 달성하여 실시간 로봇 제어가 가능함을 입증했습니다.
• 확장성: 단일 암(Single-arm) 작업뿐만 아니라 복잡한 양팔(Bimanual) 작업 및 실제 로봇 환경(AgileX Piper)에서도 강력한 제어 성능을 유지함을 확인했습니다.

결론적으로, TurboVLA는 실행 수준(Execution-level)의 로봇 제어에서 거대한 LLM이 반드시 필요한 것은 아님을 증명하며, 리소스가 제한된 환경에서 고성능 로봇 제어를 가능하게 하는 새로운 설계 철학을 제시했습니다.