LocateAnything: Parallel Box Decoding으로 빠르고 고품질의 Vision-Language Grounding 구현

비전-언어 모델에서 좌표를 순차적으로 생성하는 기존 방식은 박스 기하 구조의 제약을 포착하기 힘들고 추론 지연이 크다. LocateAnything은 bounding box를 atomic unit으로 간주하는 Parallel Box Decoding(PBD)을 도입해 박스 간 기하적 일관성을 유지하면서 병렬 디코딩의 속도를 대폭 끌어올린다. 또한 LocateAnything-Data를 통해 138M 질의의 대규모 다-domain 학습 데이터를 확보해 고정밀 로컬라이제이션 성능을 크게 강화한다.

출발점: 좌표를 1D 토큰으로 직렬화하는 기존 접근은 2D 박스의 기하적 연속성을 활용하지 못하고 학습과 추론에서 불일치가 발생한다. 해결 원리: bounding box를 하나의 atomic block으로 간주하고, NTP와 MTP를 박스 단위로 함께 학습시키되, 블록 단위로 인코딩된 출력이 박스의 기하학적 연속성을 보장하도록 한다. 세부적으로, x_vis/x_q를 공유 컨텍스트로 두고, x_ntp(토큰 시퀀스)와 x_blk(박스 기반 시퀀스)를 결합해 두 포맷을 동시에 학습한다. 주의 메커니즘은 NTP에 대해 causal, MTP 블록 간에는 블록-크루스컬하고 intra-block는 양방향으로 설정한다. 그 결과, 박스 단위의 출력을 단일 forward pass로 생성하면서도 구조적 일관성과 학습 신호의 질을 유지한다. 실용적 의의는 병렬 디코딩으로 처리량을 크게 높이고, 혼합 모드로 복수 인스턴스에서도 안정적인 로컬라이제이션을 제공한다.

전체 접근 방식: native-resolution 비전 인코더(Moon-ViT)와 언어 디코더(Qwen2.5)를 연결하고, 시각 특징 Z와 텍스트 질의 E를 이용해 B=(b1,...,bN)로 구성된 block 시퀀스를 예측한다. 각 블록 b_i는 길이 L=6으로 구성되며, 와 사이의 4개 좌표와 2개의 구조 토큰으로 구성된다. 4가지 블록 타입: Semantic, Box, Negative, End. 입력(target)으로부터 x_all = x_vis ⊕ x_q ⊕ x_ntp ⊕ x_blk를 구성해 두 형식의 ground-truth를 동일한 그래프에서 학습한다. 학습 시 두 손실을 합치는 방식으로 ℒ = ℒ_ntp + ℒ_mtp를 최소화한다. 어텐션 마스크: NTP 스트림은 causal, MTP는 블록-크 causal, intra-block는 bidirectional로 구성되며 KV 캐시의 일관성을 유지한다. 인퍼런스 시에는 Slow(Autoregressive NTP), Fast(MTP 박스 블록 예측), Hybrid(둘의 조합) 중 선택한다. 3.2 학습 설계: x_all의 구성은 시퀀스 길이에 따라 블록별로 [mask] 토큰으로 치환하여 전체 블록의 토큰을 한 번에 예측하도록 한다. 3.3 추론 설계: 포맷 불일치/공간 애매함 탐지 시 현재 블록의 출력을 NTP로 재디코딩하고 이후 다시 MTP로 복귀하는 정책을 도입한다. 3.4 LocateAnything-Data 구성: Detection, GUI, Referring, OCR, Layout, Pointing 등 6개 도메인으로 구성된 12M 이미지, 138M 질의, 785M 바운딩 박스 등의 데이터를 합성/수집한다. 4.1 학습 단계 구성: Stage1/Stage2에서 world-knowledge injection, Stage3(Detection & Grounding), Stage4(Dense Detection Enhancement)으로 이어지는 4단계 학습 플로우를 제시한다. 3.1 아키텍처 상의 4개 블록 타입은 Semantic/Box/Negative/End로 정의된다. 3.2의 듀얼 포맷 입력은 NTP 스트림의 causal attention과 MTP 스트림의 block-causal, intra-block의 bidirectional attention으로 구성된다.

주요 벤치마크에서 LocateAnything-3B는 LVIS에서 mean F1 +3.8%, COCO에서 +1.8%를 달성했고, Dense200에서 39.9의 mean F1, VisDrone에서 39.9를 기록했다. GUI Grounding에서 ScreenSpot-Pro 대비 평균 60.3으로 SOTA에 근접했다. DocLayNet 91.1/35.8/76.8, M6Doc 90.6/25.8/70.1, TotalText 58.9/5.1/43.3의 문서 레이아웃/ OCR 태스크 성능을 보였다. Referring 표현(recognition) 벤치마크에서 LocateAnything-3B는 HumanRef 82.9/68.8/78.7, RefCOCOg val 88.6/41.5/76.7, RefCOCOg test 88.8/43.4/77.6으로 Rex-Omni-3B 및 Qwen3-VL 대비 우수한 결과를 보였다. 추론 속도 측면에서 Hybrid Mode에서 12.7 BPS, Fast Mode에서 15.3 BPS, Slow Mode에서 4.3 BPS로 운영되며 속도-정확도 트레이드오프를 제시한다. backbone 일반화에서도 Qwen3-VL-4B에 PBD를 적용시 속도/정확도 향상을 보였다.

아키텍처: Moon-ViT 기반 비전 인코더와 Qwen2.5 기반 언어 디코더를 연결하고, Z와 질의 E를 입력으로 받아 박스 기하 단위인 block 시퀀스 B를 생성한다. 출력 단위로 6 토큰 길이의 Box Block 4종류를 도입하고, Semantic/Box/Negative/End의 4가지 유형을 정의한다. 학습: x_vis/x_q를 공유 컨텍스트로 두고, x_ntp/x_blk 두 가지 포맷의 ground-truth를 하나의 x_all 시퀀스로 학습한다. 손실은 ℒ_ntp + ℒ_blk로 구성되며, Attention Masks은 NTP에 대한 causal, MTP에 대한 블록-크 causal and intra-block bidirectional로 구성한다. 추론 모드의 선택은 Fast/Hybrid/Slow의 상호 보완으로 구현되며, KV 캐시 관리는 재귀적 일관성을 유지한다. LocateAnything-Data는 Detection/GUI/Referring/OCR/Layout/Pointing/ Text 등 6개 도메인의 다양한 데이터를 포함하고, 데이터 엔진은 OpenImages, Objects365 및 Unlabeled 이미지에서 질의를 합성한다.

제시된 제한점으로는 현재 지도학습 위주 학습이며, 강화학습 기반의 블록 디코딩 정책 최적화나 worst-case 디코딩 속도 개선에 대한 후속 연구가 필요하다.