pplx-embed-v2-late 모델 시리즈는 텍스트, 이미지, 시각적 문서(Visual Documents)를 모두 처리할 수 있는 다중 모달(Multimodal) 형태의 지연 상호작용(Late-interaction) 검색기 모델입니다. 이 모델들은 Qwen3.5 아키텍처를 기반으로 설계되었으며, 양방향 어텐션(Bidirectional Attention)을 활용하여 정보 검색 성능을 최적화했습니다.

핵심 방법론 및 기술적 상세

1. Late-Interaction 구조: 이 모델들은 전통적인 단일 벡터 임베딩 방식과 달리, 입력 데이터 내의 모든 토큰에 대해 각각 128차원의 벡터를 생성합니다. 쿼리와 문서 간의 최종 유사도는 각 토큰 벡터들 간의 MaxSim 연산을 통해 산출됩니다.
   • $Score(Q, D) = \sum_{q \in Q} \max_{d \in D} (q \cdot d)$

이러한 방식은 질의어의 세부적인 의미를 문서의 개별 토큰들과 정밀하게 비교할 수 있게 하여 검색 정확도를 비약적으로 향상시킵니다.

2. 학습 및 증류(Distillation): 두 모델(0.6B 및 9B) 모두 내부적으로 구축된 18B 규모의 ColBERT 교사 모델(Teacher Model)로부터 증류 과정을 거쳤습니다. 학습 과정에서는 쌍(Pair) 및 삼중(Triplet) 데이터를 활용하였으며, 토큰 수준의 LEAF-style 목적 함수를 도입하여 미세 조정을 수행했습니다.

3. 모델 아키텍처 및 미세 조정:
   • 0.6B 모델: 340M의 활성 파라미터(Active Params)를 가지며, 전체 모델을 완전히 파인튜닝(Full fine-tuning)했습니다.
   • 9B 모델: 7.4B의 활성 파라미터를 사용하며, 효율성을 위해 마지막 8개 트랜스포머 레이어만 완전 파인튜닝하고, 나머지 레이어와 비전 인코더(Vision Encoder)는 LoRA(Low-Rank Adaptation)를 적용하여 적응시켰습니다.

4. 공통 임베딩 공간(Shared Embedding Space): 0.6B와 9B 모델은 동일한 임베딩 공간을 공유하도록 설계되었습니다. 이를 통해 사용자는 9B 모델로 인덱싱된 방대한 문서 데이터를 0.6B 모델을 사용하여 훨씬 가볍고 빠르게 쿼리할 수 있는 유연한 검색 환경을 제공합니다.

성능 및 활용

이 모델 시리즈는 ViDoRe(v3) 벤치마크에서 우수한 성능을 입증했습니다.

• pplx-embed-v2-late-0.6b: nDCG@10 기준 이미지 검색 62.3%, 마크다운 검색 61.2% 기록.
• pplx-embed-v2-late-9b: nDCG@10 기준 이미지 검색 65.2%, 마크다운 검색 64.7% 기록.

Sentence Transformers 라이브러리와 호환되며, 텍스트 전용 배치와 이미지 전용 배치를 분리하여 인코딩하는 방식을 권장합니다. 입력 데이터 처리 시 PyLate와 달리 쿼리/문서 마커(Q/D markers)를 첫 번째 위치에 배치하도록 설계되었습니다.