EmbeddingGemma 2는 Google DeepMind에서 개발한 오픈 소스 멀티모달 임베딩 모델로, 텍스트(코드 포함), 이미지, 비디오, 오디오를 768차원의 통합된 벡터 공간으로 매핑하도록 설계되었습니다. 전체 파라미터 수는 740M이며, 270M 규모의 텍스트 백본과 선택적으로 로드 가능한 170M 규모의 비전 인코더 및 300M 규모의 오디오 인코더로 구성된 모듈형 아키텍처를 채택하고 있습니다.

핵심 방법론 및 기술적 사양

1. 아키텍처 및 연산:
   • 24개의 레이어와 512의 모델 차원, 2048의 히든 차원을 가지며, 1024 토큰의 슬라이딩 윈도우와 GQA(Grouped-Query Attention)/MQA(Multi-Query Attention) 혼합 구조를 사용하여 효율성을 극대화했습니다.
   • 활성화 함수로는 Gated FFN과 GELU를 사용하며, Mean Pooling을 통해 임베딩을 생성합니다.

2. Matryoshka Representation Learning (MRL):
   • 본 모델은 MRL을 지원하여 768d 벡터를 512d, 256d, 128d로 유연하게 절단(truncation)할 수 있습니다. 절단 후에는 코사인 유사도 측정을 위해 반드시 재정규화(L2-normalization) 과정을 거쳐야 합니다.

3. 멀티모달 통합 및 인터리빙:
   • 8,192 토큰의 공유 컨텍스트 윈도우 내에서 텍스트와 미디어(이미지, 비디오, 오디오)를 인터리빙할 수 있습니다. 각 미디어는 특정 토큰($<|image|>, <|video|>, <|audio|>$)을 통해 시퀀스 내 위치가 지정되며, 각 modality는 고정된 토큰 비용을 소모합니다.
   • 이미지와 비디오 프레임은 기본적으로 280개의 토큰을 점유하지만, Vision Token Budget 설정을 통해 70에서 1120까지 조정하여 계산 자원과 정밀도 간의 트레이드오프를 조절할 수 있습니다.

4. Task-steered Representations:
   • 텍스트 입력 시 성능 향상을 위해 'task instruction prefix'를 사용합니다. 비대칭적 작업(예: 검색, RAG)의 경우 query와 document에 각각 전용 접두사를 부여하며, 대칭적 작업(예: 분류, 클러스터링)은 통합 접두사를 사용합니다.

5. 수치 정밀도 및 최적화:
   • 연산 효율성을 위해 bfloat16 사용을 권장하며, float16은 연산 범위 한계로 인해 NaN 발생 위험이 있으므로 지양해야 합니다. 또한, 특정 modality를 사용하지 않을 경우 해당 인코더를 로드하지 않는 'Selective Encoder Loading'을 통해 메모리 점유율을 크게 낮출 수 있습니다.

성능 및 사용성

• 100개 이상의 언어와 향상된 코드 이해도를 보유하고 있으며, MTEB(Massive Text Embedding Benchmark) 및 멀티모달 벤치마크(MIEB, MMEB, MAEB)에서 우수한 성능을 입증했습니다. 특히 256d까지는 정보 손실이 거의 없는 보존력을 보여주며, 온디바이스(on-device) 환경에서 검색, RAG, 클러스터링 및 분류 작업에 최적화되어 있습니다. 다만, 모델은 사후 훈련 정렬(post-training alignment)을 거치지 않은 사전 훈련 모델이므로, 실사용 시 개발자는 적절한 필터링 및 보안 정책을 적용해야 합니다.