LocateAnything은 VLM(Vision-language models)에서 시각적 grounding 및 detection 문제를 해결하기 위한 통합 generative framework로, 기존의 autoregressive한 좌표 토큰 생성 방식의 한계점을 극복한다. 기존 방식은 2D box를 여러 1D 토큰으로 직렬화하여 독립적으로 디코딩함으로써 box geometry의 결합된 구조와 불일치하고, 엄격한 순차적 생성으로 인해 병목 현상을 유발했다. LocateAnything은 이러한 문제를 해결하기 위해 Parallel Box Decoding (PBD)이라는 새로운 핵심 방법론을 제안한다.

Parallel Box Decoding (PBD)은 bounding box나 point와 같은 기하학적 요소를 상수 길이의 atomic unit으로 간주하고, 전체 좌표 집합 $(x_1, y_1, x_2, y_2)$를 단일 병렬 스텝으로 예측한다. 이는 기존 방식이 좌표 토큰을 임의로 분할하는 것을 피하면서 intra-box 기하학적 일관성을 보존하고 상당한 병렬 처리를 가능하게 한다.

LocateAnything의 아키텍처는 Moon-ViT vision encoder와 Qwen2.5 language decoder를 기반으로 하며, MLP projector가 이들을 연결하여 visual token을 box-aligned block-level prediction의 시퀀스로 직접 변환한다.

LocateAnything은 세 가지 추론 모드를 제공한다:

1. Fast Mode (MTP): 최대 처리량(throughput)을 위해 전체 box를 병렬로 예측한다. On-device robotics나 embodied agents와 같이 지연 시간 및 컴퓨팅 제약이 있는 환경에 적합하다.
2. Slow Mode (NTP): 최대 안정성을 위해 좌표 토큰을 autoregressively 디코딩한다. 고정밀 라벨링, 데이터 큐레이션 및 정확성 중심의 오프라인 평가에 적합하다. PBD (Slow Mode)는 box-aligned formulation이 1D serialization보다 강력한 supervision을 제공함을 입증하며 가장 높은 F1 score를 달성한다.
3. Hybrid Mode: Fast Mode를 기본으로 사용하며, format irregularity (카테고리 경계에서 malformed syntax) 또는 spatial ambiguity (밀집된 객체 사이의 중간 좌표)가 감지될 때 Slow Mode로 전환한다. 이는 대부분의 속도 이점을 유지하면서 견고한 출력을 보장한다. Corrected NTP Re-decoding은 문제가 있는 block을 폐기하고 마지막 검증된 prefix로 되돌아간 다음, NTP가 해당 block에 대한 토큰을 autoregressively 생성한 후 다시 MTP로 전환하는 방식으로 작동한다.

LocateAnything은 box ordering과 decoding throughput 간의 관계를 분석하여, X-Y Corner Order sorting이 가장 높은 F1-score를 제공함을 보여준다. 또한, target box의 수가 20개에서 300개로 증가함에 따라 NTP 방식은 심각한 지연 시간 병목 현상을 겪는 반면, PBD는 2배에서 6배의 속도 향상을 달성하여 밀집된 장면에서 12 BPS에서 약 25 BPS로 처리량을 확장한다.

모델 훈련을 위해 LocateAnything-Data라는 대규모 데이터셋이 큐레이션되었다. 이 데이터셋은 1,200만 개 이상의 고유 이미지와 1억 3,800만 개 이상의 diverse language query, 그리고 7억 8,500만 개 이상의 box를 포함한다. 이는 일반 Object Detection (66.9% queries), GUI Element Grounding (16.5%), Referring Comprehension (7.3%), Text Localization (OCR, 3.6%), Layout Grounding (3.5%), Point-Based Localization (2.2%) 등 다양한 쿼리 유형을 포괄하여 고정밀 localization을 위한 데이터 다양성을 크게 증가시킨다.

LocateAnything은 벤치마크 평가에서 decoding throughput과 localization accuracy 모두에서 최첨단 성능을 달성한다. 특히, LVIS 및 COCO와 같은 다중 객체 detection 벤치마크에서 기존 모델 대비 더 높은 F1 score를 기록하며, 특히 고 IoU 임계값에서 강력한 개선을 보여준다. Dense200 및 VisDrone와 같은 dense detection 벤치마크에서는 우수한 boundary delineation을 입증한다. 또한 ScreenSpot-Pro (GUI Grounding), DocLayNet, M6Doc (Layout Grounding), TotalText (OCR), HumanRef 및 RefCOCOg (Referring Expression Comprehension), 그리고 여러 데이터셋에 걸친 Point-Based Localization에서 높은 정밀도로 SOTA 성능을 달성한다. 이러한 결과는 Parallel Box Decoding과 대규모 훈련 데이터의 상호 보완적인 이점이 효율적이고 정밀한 통합 시각 grounding 및 detection을 가능하게 함을 보여준다.