PixelEyes: 핀포인트 시각 증거 탐색을 위한 지각과 추론의 분리

초고해상도 장면에서 목표 객체가 이미지의 극히 작은 일부에만 포함되는 상황에서는 위치 찾기 자체가 주요 병목이다. PixelEyes는 추론과 정밀 지각을 분리해 마스크 수준의 근거를 도구로 획득하고, 의미영역 기반 너비우선탐색으로 불필요한 재크롭을 줄여 상호작용 효율을 높였다. 이 접근은 위치 검출과 답변 생성의 실패를 분리해 'inattentional blindness'를 정량적으로 줄이는 평가 지표를 가능하게 했다.

문제의 출발점은 다중턴 시각 추론 에이전트가 '무엇을 볼지(decide what to look for)'와 '어디에 있는지(grounding)'를 동일한 모델에 맡길 때 발생하는 상호 간섭이다. 일반 목적 VLM은 텍스트-이미지 추론에 강하지만 픽셀 수준의 정밀한 로컬라이제이션에서는 전문 분할기보다 약하므로, 동일 모델이 두 역할을 동시에 수행하면 부정확한 그라운딩이 추가 추론 턴을 유발해 경로가 길어지는 현상이 빈번하게 나타났다. 이 현상이 바로 논문이 'inattentional blindness'로 규정한, 대상은 방문했지만 인식해 답변으로 연결하지 못하는 실패 유형이다.

핵심 해결 원리는 역할 분리와 탐색 구조의 명시적 설계에 있다. 모델은 고수준의 공간 계획과 참조 표현 생성을 담당하고, 참조 표현과 후보 박스를 외부의 referring segmentation 도구에 전달해 픽셀 마스크를 받아온다. 마스크가 존재하면 해당 마스크의 tight bbox를 확대해 타겟 중심 크롭을 생성하고 이를 다음 추론 단계의 관찰로 추가한다. 도식적으로 보면, '계획(텍스트 사고) → 후보 박스 제안 → 도구 호출(마스크 획득) → 타겟 크롭 반환'의 루프가 반복되며 각 모듈은 자신의 전문 역할만 수행한다.

Semantic-Region BFS는 기존의 깊이우선 기반 검증 루프를 대체해 반복적 재크롭을 방지하는 작동원리다. 이전 탐색의 실패(마스크 부재)는 그 지역이 타겟을 포함하지 않을 가능성이 높다는 강한 사전 확률로 해석되어 형제 지역으로 수평 탐색을 우선한다. 이로 인해 전체 커버리지가 빠르게 확보되고, 도구 기반 마스크가 제공하는 고밀도 증거 입력은 후속 추론의 신뢰도를 높여 최종 정답 도달률과 턴 효율을 동시에 개선한다.

전체 접근은 VLM 정책 πθ가 텍스트 사고(Thought)와 행동(Action)을 생성하는 다중턴 의사결정 루프 형태로 정의된다. 각 턴에서 모델은 축적된 콘텍스트를 평가해 추가 관찰이 필요한지를 판단하고, 필요하면 지역 캡션(c_t)을 생성해 의미적 계획을 세운 뒤 전역 좌표계에 속하는 낮은 IoU 후보 박스(B_t^{in})를 제안한다. 제안된 박스와 참조 표현(ℰ_t)은 마스크 기반 크롭 도구로 전달되어 SAMTok이 픽셀 마스크 M_t를 반환하면 tight 마스크 박스를 스케일링해 최종 관찰 O_t를 생성한다.

마스크 기반 파이프라인이 실패(M_t = ∅)하면 시스템은 즉시 후보 박스 그대로를 출력하고 다음 턴에서는 다른 의미영역을 선택하도록 설계되어 있다. 이때 의미영역 이력 S_t는 { (B_i^{in}, c_i) } 형태로 원본 이미지 좌표에 고정되어 저장되며 이후 계획은 이 이력을 바탕으로 수평적 BFS를 수행한다. 도구 선택은 상황에 따라 자동 전환되며, 인스턴스 분할이 비적합한 경우에는 bbox_based_crop을 사용하도록 스위처블 로직이 적용된다.

학습 파이프라인은 두 단계다. 첫 단계는 PixelEyes-6K로 정의된 5.8K 성공 경로에 대해 감독 학습(SFT)을 수행해 정책이 의미영역 BFS, 도구 전환, 참조 표현 추출을 모방하게 만든다. 두 번째 단계는 vanilla GRPO 기반의 강화학습으로 정밀한 탐색 경로를 추가로 최적화하며, 이때 SFT 모델로 사전 필터링해 훈련 데이터의 품질을 유지한다. 데이터 합성은 Gemini 계열의 교사 롤아웃을 도구 호출 규약과 의미영역 예약 규칙으로 제어해 높은 충실도의 다중턴 궤적을 생성했다.

PixelEyes는 다양한 고해상도 및 어려운 시각 탐색 벤치마크에서 기준 모델과 기존 활발한 연구군을 상회하는 성능을 보였다. 예컨대 PixelEyes-8B는 V*에서 94.24% 정확도를 기록했고 HR-Bench-4K/8K와 VisualProbe에서도 일관되게 우수한 수치를 보였다. 논문은 PixelEyes-4B와 8B가 Qwen-3-VL의 동일 규모 기반보다 다수 지표에서 유의미한 개선을 달성했다고 제시했다.

Pinpoint-Bench의 진단적 분석에서는 Localization Success Rate(LSR)와 Turn-to-Answer Efficiency(TAE)를 병행해 평가했으며, PixelEyes는 LSR과 정확도의 격차를 줄이면서 TAE를 크게 향상시켰다. 예를 들어 Mini-o3는 높은 LSR을 보였으나 최종 정확도가 낮아 LSR-Acc 격차가 컸고, PixelEyes는 마스크 기반 크롭으로 이 간극을 줄여 정확도와 효율 둘 다 개선했다. 전체적으로 SFT 데이터의 구조적 품질(PixelEyes-6K)과 GRPO 기반 RL 결합이 성능 향상에 핵심적 역할을 수행했다.

추가적인 성분분석(ablation)에서 마스크 기반 탐색과 Semantic-Region BFS의 결합이 성능에 결정적 영향을 미쳤고, SAMTok 같은 강건한 마스크 그라운더가 대체 불가능한 구성 요소로 작용했다. Sa2VA로 교체하면 정확도·TAE·LSR이 모두 하락했고 SAMTok은 높은 도구 호출 성공률(ISR=99.17%)을 기록해 실험적 근거를 제공했다. 따라서 마스크 그라운더의 성능이 전체 파이프라인의 병목이 될 수 있음이 실험으로 확인되었다.

전체 아키텍처는 정책 VLM(글로벌 플래너)과 외부 referring segmentation 도구(SAMTok)를 도구 호출 인터페이스로 연결한 모듈화 구조다. 정책은 텍스트 사고와 행동 액션을 토큰 단위로 생성하며, 행동은 mask_based_crop, bbox_based_crop, answer 중 하나로 구성된다. mask_based_crop의 내부는 후보 박스 제안 → 로컬 패치 추출 → SAMTok에 패치와 참조 표현 입력 → 마스크 반환 → tight bbox 산출 및 스케일링으로 이루어진다.

Semantic-Region BFS는 시간에 따라 누적되는 의미 이력 S_t를 유지하며, 각 엔트리는 전역좌표 기준의 B^{in}_i와 간단한 지역 캡션 c_i로 구성된다. 정책은 이 이력을 바탕으로 새로운 지역을 계획하고 낮은 IoU 제약을 적용해 전역 커버리지를 확장한다. 이로 인해 복수 수준의 로컬 좌표계를 관리할 필요가 사라지고, 반사(backtracking)로 인한 공간적 혼동이 제거된다.

학습 세부사항은 두 단계로 구성되며, SFT 단계에서는 PixelEyes-6K의 성공 경로로 정책을 초기화해 의미 캡션 생성, 낮은 IoU 박스 제안, 도구 선택과 같은 행동 분포를 학습시켰다. 이후 RL 단계에서는 vanilla GRPO를 적용해 경로 효율성을 추가로 최적화했으며, RL 데이터는 SFT 모델로 필터링해 해결률이 낮거나 지나치게 쉬운 샘플을 제거했다. 논문은 over-turn masking을 사용하지 않고 vanilla GRPO를 사용해 간결한 탐색을 장려했다고 보고했다.

PixelEyes의 성능은 외부 마스크 그라운더의 강건성에 크게 의존한다는 점이 실험적으로 확인되었다. Sa2VA 같은 대체 백엔드로 바꾸면 정확도와 LSR이 유의하게 하락해 그라운더의 품질이 전체 시스템의 병목이 될 수 있다. 또한 zero-hint 프로토콜과 극히 작은 목표 비율(평균 ROI 면적 0.07%) 때문에 일부 장면과 질의 유형에서는 여전히 높은 실패율과 언어적 애매성이 남아 있다.