본 논문은 대규모 비디오 파운데이션 모델인 SAM2(Segment Anything Model 2)의 강력한 성능을 유지하면서도, 리소스가 제한된 모바일 기기 및 임베디드 장치에서 구동 가능한 경량화 모델인 MobileSAM2를 제안합니다.

1. 핵심 동기 및 배경

SAM2는 방대한 데이터셋을 학습하여 비디오 세그멘테이션에서 뛰어난 성능을 보이지만, 파라미터가 매우 방대하여 모바일 환경에서의 실시간 처리가 어렵습니다. 저자들은 SAM2의 성공 요인을 (1) 비디오 프레임 간의 일반화된 Temporal Knowledge와 (2) 다중 세분성(Granularity) 개념을 이해하는 Multi-Granularity Knowledge로 분석하고, 이를 효율적으로 압축하여 학생 모델로 전이하는 것을 목표로 합니다.

2. 핵심 방법론: Hypergraphical Knowledge Distillation (HyperKD)

HyperKD는 기존의 단순한 피처 정렬 방식(FitNet)을 넘어, Hypergraph를 활용하여 복잡하고 고차원적인 지식을 모델링합니다.

• Temporal HyperKD:

비디오 프레임 내 패치(또는 객체)를 노드로 설정하고, 프레임 간의 연관성을 Hyperedge로 구성하여 시간적 일관성을 학습합니다. 이를 위해 영상 임베딩 $zI_t$로부터 패치별/인스턴스별 Hypergraph $GP a_t$와 $GIns_t$를 구축하고, 학생 모델의 임베딩 $zI_s$와의 결합 행렬(Incidence Matrix) 차이를 최소화합니다.
$$LTHKD = \parallel H P a_t - H P a_s \parallel_F + \parallel H Ins_t - H Ins_s \parallel_F$$

• Granularity HyperKD:

객체, 부품, 세부 부품 등 서로 다른 세분성 수준의 의미적 관계를 학습합니다. 모델의 예측 마스크를 활용하여 다중 세분성 수준의 노드를 구성하고, 이들 간의 계층적 관계를 Hyperedge로 연결하여 정밀한 분할 능력을 전이합니다.
$$LGHKD = \parallel H Gran_t - H Gran_s \parallel_F$$

3. MobileSAM2 아키텍처 및 최적화

저자들은 Hiera 구조를 기반으로 하는 Progressive Model Contraction 전략을 도입하였습니다. 임베딩 차원($\Gamma Emb$), 블록 수($\Gamma Blk$), 윈도우 크기($\Gamma WinSiz$), 헤드 확장 비율($\Gamma HExp$) 등 4가지 요소를 체계적으로 조절하여, HyperKD 손실을 최소화하는 최적의 모델 아키텍처를 탐색했습니다. 이를 통해 생성된 MobileSAM2 제품군은 5M, 10M, 23M 파라미터 규모로 제공되며, 경량화 모델임에도 불구하고 기존 지식 증류 기법 대비 우수한 성능을 달성했습니다.

4. 연구의 의의

MobileSAM2는 HyperKD를 통해 단순히 피처맵을 모방하는 것을 넘어, 비디오의 구조적/계층적 정보를 명시적으로 학습합니다. 실험 결과, MOSE, DAVIS 2017, LVOS, SA-V 등 다양한 벤치마크에서 기존의 FitNet이나 FAKD를 큰 폭으로 상회하는 정확도를 기록하며, 모바일 환경에서의 Spatial Intelligence 구현을 위한 강력한 솔루션을 제시하였습니다.