본 논문은 대규모 비디오 파운데이션 모델인 SAM2(Segment Anything Model 2)의 추론 효율성을 극대화하여 리소스가 제한된 모바일 및 엣지 디바이스에서 활용할 수 있도록 경량화한 MobileSAM2를 제안합니다. 핵심은 SAM2가 학습한 복잡한 지식을 효과적으로 전이하기 위해 하이퍼그래프(Hypergraph) 구조를 지식 증류(Knowledge Distillation)에 도입한 Hypergraphical Knowledge Distill(HyperKD) 프레임워크입니다.

핵심 방법론: HyperKD (Hypergraphical Knowledge Distillation)

HyperKD는 SAM2 내에 암시적으로 인코드된 두 가지 핵심 지식을 명시적 하이퍼그래프 구조로 모델링하여 학생 모델인 MobileSAM2로 전이합니다.

1. Temporal HyperKD: 비디오 프레임 간의 시간적 상관관계를 모델링합니다.
   • 각 프레임의 패치 및 객체를 노드(Node)로 설정하고, 프레임 간 연관성을 하이퍼엣지(Hyperedge)로 구성합니다.
   • ϵ-ball 거리 임계값을 사용하여 노드 간 유사도를 측정하고, 이를 기반으로 발생 행렬(Incidence Matrix) $H$를 구성하여 다음 식을 최적화합니다.

$$L_{THKD} = \|H^{Pa}_{t} - H^{Pa}_{s}\|_{F} + \|H^{Ins}_{t} - H^{Ins}_{s}\|_{F}$$
(여기서 $t$는 교사 모델, $s$는 학생 모델을 의미함)

2. Granularity HyperKD: 객체, 부품(parts), 하위 부품(subparts)과 같이 세분화된 다중 입자성(multi-granularity) 지식을 전이합니다.
   • 세분화 수준별 노드를 구성하고 계층적 연관성을 하이퍼그래프로 구축하여 다음 손실 함수를 최소화합니다.

$$L_{GHKD} = \|H^{Gran}_{t} - H^{Gran}_{s}\|_{F}$$

MobileSAM2 아키텍처 및 최적화

MobileSAM2는 점진적 모델 수축(Progressive Model Contraction) 전략을 통해 탐색된 경량 Hierarchical Vision Transformer 기반의 모델입니다. 임베딩 차원($\Gamma_{Emb}$), 블록 수($\Gamma_{Blk}$), 윈도우 사이즈($\Gamma_{WinSiz}$), 어텐션 헤드 확장 비율($\Gamma_{HExp}$) 등의 변수를 조정하여 5M, 10M, 23M 파라미터 크기의 모델 라인업을 구성했습니다.

최종 목표 함수

전체 학습 과정은 특징맵 정렬을 위한 FitNet 기반 손실 함수와 HyperKD 손실 함수의 결합으로 이루어집니다.
$$Loss = \|z^{I}_{t} - z^{I}_{s}\|_{1} + \alpha \cdot L_{THKD} + \beta \cdot L_{GHKD}$$

본 연구는 실험을 통해 MobileSAM2가 다양한 VOS(Video Object Segmentation) 벤치마크(MOSE, DAVIS 2017, LVOS, SA-V 등)에서 기존 지식 증류 방법론들보다 우수한 성능을 보이며, 모바일 환경에서도 SAM2의 강력한 일반화 성능과 효율적인 비디오 세그멘테이션 기능을 제공함을 입증했습니다.