TL;DR
고해상도 이미지에서 작은 시각 단서가 답에 결정적일 때 기존 VLM은 적절한 증거를 찾지 못해 성능이 크게 저하된다. P2R는 위치 결정(Perceiver)과 답생성(Reasoner)을 명시적으로 분리해 증거 로컬라이제이션과 추론을 역할별로 학습 가능하게 만들었다. 이로 인해 바운딩 박스 레이블 없이도 고해상도 세밀 시각추론 벤치마크에서 의미 있는 성능 향상이 관찰되었다.
왜 중요한가
고해상도 이미지에서 작은 시각 단서가 답에 결정적일 때 기존 VLM은 적절한 증거를 찾지 못해 성능이 크게 저하된다. P2R는 위치 결정(Perceiver)과 답생성(Reasoner)을 명시적으로 분리해 증거 로컬라이제이션과 추론을 역할별로 학습 가능하게 만들었다. 이로 인해 바운딩 박스 레이블 없이도 고해상도 세밀 시각추론 벤치마크에서 의미 있는 성능 향상이 관찰되었다.
핵심 기여
Perceive-to-Reason(P2R)으로 지각과 추론을 분리한 두 단계 추론 파이프라인
P2R는 이미지-질문 쌍을 먼저 Perceiver로 처리해 질문 관련 bounding box 집합을 예측하고, 그 결과로 생성된 annotated image와 cropped evidence를 Reasoner에 입력해 최종 답을 생성하는 두 단계 구조를 도입했다. 이 구조는 증거 로컬라이제이션을 암묵적 부작용이 아닌 명시적 중간 단계로 만들며 추론 단계는 로컬 증거에 집중할 수 있는 입력을 받는다. 역할별 행동은 동일한 VLM의 공유 파라미터 아래에서 역할 조건부 행동 π_p(·;θ)와 π_r(·;θ)로 구현되어 배포 시 단일 모델만 사용된다.
PRA‑GRPO로 역할 인지 교대 강화학습을 적용해 최종답안 감독으로 역할별 학습 신호 확보
PRA‑GRPO는 Perceiver 단계와 Reasoner 단계를 교대로 활성화해 활성 역할만 업데이트하고 다른 역할은 고정하는 방식으로 학습을 수행한다. 각 단계에서 샘플된 그룹 롤아웃의 최종 정답 일치 여부를 이진 보상으로 사용하고 GRPO의 그룹 상대적 advantage로 표준화된 이득을 계산해 안정적인 업데이트를 적용했다. 이 방식은 바운딩박스 레이블 없이도 위치 결정 능력과 답생성 능력을 동시에 향상시키는 역할 귀속 메커니즘을 제공했다.
다양한 스케일과 고해상도 벤치마크에서 일관된 성능 향상과 공개된 코드
P2R은 Qwen3-VL-Instruct 기반 2B/4B/8B 모델에서 일관된 성능 개선을 보였다. 특히 P2R-4B는 V‑Star에서 93.2%, HR-Bench-4K에서 81.9%, HR-Bench-8K에서 80.5%를 기록해 대응 백본보다 실질적 우위를 보였다. 학습 코드는 저장소(https://github.com/ZJU-REAL/Perceive-to-Reason)가 공개되어 재현 및 추가 실험이 가능하다.
핵심 아이디어 이해하기
문제의 출발점은 고해상도 이미지에서 질문과 직접 연관된 작은 시각 단서를 찾아야 한다는 점이다. 기존 VLM은 단일 텍스트-이미지 생성 경로에서 위치 결정과 추론을 동시에 수행하는 경향이 있어 작은 증거를 놓치거나 잡음이 많은 긴 문맥을 생성해 추론 정확도가 떨어졌다. 진단 실험에서 oracle 바운딩 박스를 제공하면 성능이 크게 향상되는 현상이 관찰되어 위치 결정이 주요 병목임이 확인되었다. P2R는 이러한 병목을 Perceiver와 Reasoner로 분리해 해결한다. 먼저 Perceiver는 질문을 Perception 지향 prompt로 변환한 뒤 이미지에서 하나 이상 bounding box를 샘플링해 ℬ∼π_p(·|I,~Q_p;θ)와 같은 결정형 확률적 정책으로 증거 위치를 예측한다. 이후 annotate(I,ℬ)와 crop(I,ℬ)로 만들어진 annotated image와 cropped evidence를 Reasoner에 입력해 Y∼π_r(·|I_a,I_c,Q;θ)로 답을 생성하므로 위치 결정과 추론이 서로 다른 계산적 책임을 갖게 된다. 학습 관점에서는 최종 정답만 주어진 상황에서 위치 결정과 추론 중 어느 쪽 실패가 성능 저하를 만들었는지 구분하기 어렵다. PRA‑GRPO는 이 문제를 해결하기 위해 역할별로 교대 최적화를 수행해 활성 역할의 롤아웃을 고정된 상대역(Perceiver 또는 Reasoner)과 결합해 결과를 평가한다. 각 롤아웃의 보상 r_i는 최종 답 일치 여부로 정의되고 GRPO의 그룹 상대적 advantage로 표준화된 A_i를 계산해 활성 역할의 정책을 안정적으로 업데이트함으로써 간접적인 위치 감독이 가능해졌다.
관련 Figure
사례는 baseline이 작은 빨간 의자를 놓쳐 공간 관계 판단에 실패한 반면 P2R-4B는 해당 객체를 로컬라이즈해 올바른 공간 관계를 도출한 예를 제시한다. 두 번째 사례에서는 baseline이 색상 인식을 잘못한 반면 P2R는 크롭된 증거를 활용해 올바른 색상을 판정해낸 점이 대비되어 Perceiver의 로컬 증거 제공이 추론 정확도 개선에 직접 기여했음을 보여준다.
V‑Star의 구체적 사례를 비교한 케이스 스터디로 Qwen3-VL-4B와 P2R-4B의 출력과 예측된 bounding box, 모델 코멘트가 포함되어 있다.
방법론
전체 접근은 두 단계의 추론 파이프라인과 역할 인지 학습 전략으로 구성된다. 추론 단계에서 동일한 VLM 파라미터 θ를 공유하되 역할 조건부 행동 π_p와 π_r을 나눠서 Perceiver가 ℬ를 예측하고 그 출력을 annotate와 crop 연산으로 변환해 Reasoner 입력을 만든다. 학습 단계에서는 PRA‑GRPO가 Perceiver 단계와 Reasoner 단계를 교대로 활성화해 활성 역할만 업데이트하고 비활성 역할은 고정하는 방식으로 진행된다. 핵심 알고리즘은 GRPO 기반의 그룹 상대적 advantage 계산과 클리핑된 정책 업데이트를 포함한다. 구체적으로 각 활성 단계에서 G개의 롤아웃을 샘플링해 r_i=𝟙[Y_i=Y]로 이진 보상을 계산하고 A_i=(r_i-mean(r_j))/ (std(r_j)+ε)로 표준화된 advantage를 얻는다. 이후 ρ_i = π_{φ,θ}(o_i|x)/π_{φ,θ_old}(o_i|x)를 계산해 clipped surrogate objective와 KL 페널티를 포함한 GRPO 목표를 최소화해 파라미터를 갱신했다. 학습·구현 세부사항으로는 Qwen3-VL-Instruct 백본을 사용해 4개의 H100 GPU에서 GRPO로 학습을 수행했고 Perceiver/Reasoner 각 단계는 교대 스케줄로 한 epoch씩 학습했다. 각 프롬프트에 대해 8개의 롤아웃을 샘플링했고 KL 계수는 0.01로 설정했다. 훈련 데이터는 DeepEyes, VisualProbe, ZwZ에서 샘플링한 10K 사례로 구성되어 최종답안 감독만으로 PRA‑GRPO를 적용했다.
관련 Figure
이 그림은 Perceiver가 질문 관련 증거를 먼저 찾고 그 결과를 Reasoner가 활용해 답을 생성하는 두 단계 흐름을 시각적으로 제시한다. 또한 Thinking with Images 방식의 노이즈 많은 반복 탐색과 Visual Search 방식의 복잡한 파이프라인을 대조해 P2R가 더 단순한 파이프라인과 명확한 역할 분리를 제공함을 보여준다.
P2R의 전체 파이프라인과 기존 접근법(Thinking with Images, Visual Search) 대비 장단점을 도식화한 그림이다.
주요 결과
주요 벤치마크에서 P2R은 일관된 우위를 보였다. P2R-4B는 V‑Star에서 93.2%, HR-Bench-4K에서 81.9%, HR-Bench-8K에서 80.5%를 기록해 같은 규모의 Qwen3-VL-Instruct 백본 대비 각각 큰 개선을 달성했다. 벤치마크 평균 기준으로 P2R-2B, P2R-4B, P2R-8B는 백본 대비 +8.1%, +11.0%, +9.7%의 상승을 보고했다. Ablation에서는 P2R 추론만 적용해도 성능이 향상되었고 PRA‑GRPO로 학습한 경우 추가 이득이 관찰되었다. 역할별 단독 최적화(P만 또는 R만)도 베이스라인을 능가했으며 P→R 순서로 교대했을 때 V‑Star에서 93.2%로 가장 높은 성능을 기록해 증거 로컬라이제이션을 먼저 개선하는 전략이 효과적이었다. 추가 실험으로 MME-RealWorld-Lite와 ReasonSeg grounding 과제에서도 전반적인 성능 향상이 관찰되어 P2R의 효과가 고해상도 편향에만 국한되지 않음을 확인했다. 학습 동력학 분석에서 Perceiver 훈련 단계 동안 V‑Star Hit Rate와 Avg. IoU가 꾸준히 상승해 위치 결정이 개선되었고 이후 Reasoner 단계에서 전체 벤치마크 성능이 추가 상승하는 상호보완적 패턴이 관찰되었다. 또한 공유 파라미터 설계는 서로 다른 역할 체크포인트의 조합에서도 전이 이득을 보여주어 단일 모델 배포 관점에서 이점이 있었다.
관련 Figure
그래프는 P2R-4B가 Qwen3-VL-4B 대비 각 고해상도 벤치마크에서 유의미한 성능 향상을 달성했음을 수치로 보여준다. 이 수치적 비교는 논문 주장인 분리된 지각·추론이 고해상도 세부 추론에 효과적이라는 근거로 직접 연결된다.
Qwen3-VL-Instruct 기반 백본과 P2R 모델의 V‑Star, HR-Bench-4K, HR-Bench-8K에서의 성능 비교 바 차트이다.
이 그림은 Perceiver만 훈련하거나 Reasoner만 훈련해도 개선이 발생하며 교대 학습(Train Both)이 추가 이득을 제공함을 보여준다. 특히 P→R 순으로 학습했을 때 최종 성능이 더 높아 증거 로컬라이제이션을 먼저 강화하는 것이 Reasoner 학습에 유리함을 시사한다.
훈련 구성(Train P, Train R, Train Both)의 영향과 P2R 추론의 결합 효과를 보여주는 바 차트이다.
시계열 플롯에서 Perceiver 훈련 구간(점선 영역) 동안 Hit Rate와 IoU가 상승하고 이후 Reasoner 훈련 구간에서 전체 벤치마크 성능이 계속 상승하는 패턴이 관찰된다. 이 결과는 Perceiver의 개선이 Reasoner로 전이되어 상호 보완적 학습 효과가 있음을 실험적으로 뒷받침한다.
훈련 단계별 동역학을 보여주는 시계열 플롯으로 High-Resolution 벤치마크 평균, MME-RealWorld-Lite, V‑Star Hit Rate, V‑Star Avg. IoU가 포함되어 있다.
그래프는 PRA‑GRPO가 동일 반복 수에서 텍스트 전용 GRPO보다 더 큰 성능 증가 기울기(0.77 vs 0.43)를 보였음을 나타낸다. 이 결과는 Perceiver와 Reasoner 간 상호 강화 효과로 인해 교대 학습이 더 빠르게 성능을 스케일링함을 뒷받침한다.
PRA‑GRPO의 학습 스케일링 비교를 보여주는 바 차트로 텍스트 전용 GRPO와 PRA‑GRPO의 반복별 성능 상승 기울기를 비교하고 있다.
기술 상세
전체 아키텍처는 하나의 VLM 파라미터 θ를 공유하되 역할 조건부 행동 π_p(·;θ) 및 π_r(·;θ)로 동작을 분리하는 구조를 취한다. 입력 I,Q에 대해 Perceiver는 질문을 Perception 지향 프롬프트 ~Q_p로 변환하고 ℬ∼π_p(·|I,~Q_p;θ)로 bounding box 집합을 샘플링한다. 이 박스들은 annotate(I,ℬ)와 crop(I,ℬ)를 통해 I_a 및 I_c로 변환되어 Reasoner의 입력으로 사용되어 Y∼π_r(·|I_a,I_c,Q;θ)로 최종 답을 생성한다. PRA‑GRPO의 수학적 기반은 GRPO의 그룹 표준화된 advantage와 클리핑된 정책 최적화에 있다. 구체적으로 각 활성 단계에서 G개의 롤아웃을 샘플해 r_i=𝟙[Y_i=Y]를 계산하고 A_i=(r_i-mean(r_j))/ (std(r_j)+ε)로 advantage를 얻는다. 이후 ρ_i=π_{φ,θ}(o_i|x)/π_{φ,θ_old}(o_i|x)를 사용해 clipped surrogate objective min(ρ_i A_i, clip(ρ_i,1±ε)A_i)과 KL 페널티 −β KL[π_{φ,θ}‖π_ref]를 포함한 GRPO 목표로 활성 역할 φ∈{p,r}를 업데이트한다. 학습 구현 세부사항은 Qwen3-VL-Instruct 백본을 사용하고 4×H100에서 GRPO로 학습했으며 각 교대 단계는 한 epoch로 설정되었다. 각 프롬프트에서 G=8 롤아웃을 샘플링했고 KL 계수 β는 0.01로 고정했다. 데이터는 DeepEyes, VisualProbe, ZwZ에서 샘플한 10K 사례로 구성되어 최종답안 감독만으로 학습이 진행되었다. 이러한 설정은 바운딩박스 레이블 없이도 Perceiver의 위치 결정 능력을 강화하는 데 충분한 신호를 제공했다.
한계점
P2R는 두 단계 파이프라인이므로 단일 단계 직접 프롬프트보다 추가적인 추론 비용이 발생한다. PRA‑GRPO의 대규모 학습 확장성은 제한된 계산 자원 때문에 본 논문에서 충분히 평가되지 않아 완전한 스케일링 거동은 불명확하다. 또한 최종답안 감독만 사용하므로 보상 신호가 희소해 학습 안정성이나 샘플 효율 측면에서 한계가 존재한다.
실무 활용
P2R은 고해상도 이미지에서 작은 시각 증거를 정확히 찾아야 하는 애플리케이션에 적용 가능하다. 바운딩 박스 레이블 없이도 위치 결정 성능이 개선되어 데이터 라벨링 비용을 절감할 여지가 있다. 공개된 코드 저장소로부터 실험 재현과 모델 적응이 가능하다.
- 고해상도 이미지 기반의 시각 질문응답 시스템에서 작은 객체나 세부 속성 식별이 필요한 경우에 Perceiver를 통해 증거를 명시적으로 추출해 추론 정확도를 높일 수 있다.
- 현장 이미지에서 특정 기호·문자·색상과 같은 세밀한 단서를 식별해야 하는 자동화 검사 시스템에 P2R의 두 단계 파이프라인을 적용하면 로컬라이제이션과 판정의 효율이 개선될 수 있다.
- 멀티모달 QA 데이터가 제한적이고 바운딩박스 레이블이 없는 상황에서 PRA‑GRPO를 통해 최종 답만으로 Perceiver 성능을 향상시켜 라벨 비용을 낮춘 전이 학습 파이프라인에 활용할 수 있다.
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- Perceiver
- — Perceiver는 이미지와 질문에서 질문 관련 증거의 위치를 결정하는 역할을 의미한다. 이 논문 맥락에서는 모델이 bounding box 집합을 예측해 원본 이미지 위에 표시하는 단계로 구현되어 있다. 해당 단계는 이후 Reasoner가 크롭된 영역과 주석 이미지를 입력으로 받아 정확한 답을 생성할 수 있도록 증거를 명시적으로 제공하는 핵심 기능이다.
- Role-Aware Reinforcement Learning
- — 역할 인지 강화학습은 서로 다른 역할(여기서는 Perceiver와 Reasoner)에 대해 교대로 최적화를 수행하는 학습 전략을 의미한다. 논문에서는 이 접근으로 최종 정답 신호만 있을 때에도 각 역할에 책임을 귀속시키기 용이하게 만들었다. 결과적으로 위치 결정과 답생성 두 단계가 서로의 성능을 돕는 방향으로 상호 강화되도록 설계되었다.
- GRPO
- — GRPO는 그룹 기반 상대적 advantage를 이용하는 강화학습 목표로, rollout 그룹 간의 보상 정규화로 안정적인 policy 업데이트를 가능하게 하는 방법이다. 이 논문에서는 GRPO를 역할별 최적화 목적에 적용해 Perceiver/Reasoner 각 단계의 파라미터 업데이트를 수행했다. GRPO는 보상 분포의 평균·표준편차를 이용해 각 rollout의 advantage를 표준화하는 방식으로 동작한다.
- Final-Answer Supervision
- — 최종답안 감독은 훈련 시 바운딩 박스나 중간 주석을 사용하지 않고 오직 최종 정답 여부만을 보상 신호로 삼는 감독 방식이다. 논문에서는 이 신호를 Perceiver와 Reasoner의 역할별 업데이트로 변환해 간접적으로 위치 결정 능력을 학습시켰다. 이 접근은 레이블 비용을 낮추면서도 증거 로컬라이제이션을 향상시키는 핵심 설계 철학이다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.