ProMSA: 지식 기반 시각질의응답을 위한 점진적 멀티모달 검색 에이전트

지식 기반 VQA는 이미지에서 식별된 실체에 대해 외부 지식원을 탐색하여 대답을 완성해야 하는 과제를 포함하며, 긴꼬리 엔티티에서는 단일 검색 단계가 실패하기 쉽다. ProMSA는 이미지 검색과 텍스트 검색을 예산 제약 하에서 순차적으로 선택하고 중복을 제거해 증거를 점진적으로 축적하도록 설계되어 단일 샷 RAG의 한계를 극복한다. 이 접근은 증거 수집과 추론을 밀접하게 결합해 장기적 증거 체인과 잘못된 초기 검색의 수정 가능성을 개선한다.

KB-VQA 문제는 이미지 이해와 외부 지식 검색을 결합해야 한다는 점에서 두 가지 불확실성에 직면한다. 첫째는 '어떤 모달리티로 검색할 것인가'이며 이미지에 실체 식별이 불확실하면 이미지 검색, 실체가 알려졌지만 속성이 부족하면 텍스트 검색이 적절하다. 둘째는 '얼마나 깊게 검색할 것인가'인데 초기 결과가 틀리면 동일한 페이지들을 반복 수집해 편향이 누적될 수 있으므로 반복 검색과 중복 제거가 필요하다. ProMSA는 위 두 불확실성에 대응하기 위해 단일 생성 정책 πθ로 zt(추론 텍스트), ut(행동 토큰), argst(쿼리·top-k·제외 목록)를 순차 생성하게 구성했다. 이 정책은 상태 st에 기반해 img_search, text_search, stop을 선택하고 도구 호출 응답을 질문-조건 요약으로 압축해 다음 상태로 갱신한다. 압축된 요약은 중요한 엔티티 서술과 핵심 속성만 보존해 상태 성장량을 제어하며, 제외 목록을 통해 이전에 본 후보를 배제해 잘못된 초기 탐색의 편향을 완화한다. 학습 관점에서는 도구 호출이 궤적의 난이도를 좌우하므로 시퀀스 수준 보상을 사용하며 생성 길이와 도구 상호작용 깊이에 따라 업데이트 스케일을 조정하는 TN-GSPO를 도입해 안정성을 확보한다.

전체 접근 방식은 입력 이미지와 질문 쌍을 받으면 에이전트가 여러 라운드에 걸쳐 검색과 추론을 교대로 수행하도록 구성되어 있다. 각 타임스텝에서 정책은 reasoning 텍스트 zt, 행동 토큰 ut, 행동 인자 args_t(쿼리·top-k·exclude 목록)를 생성하고, img_search와 text_search는 각 호출마다 후보 위키피디아 페이지나 섹션을 반환한다. 반환된 긴 문서는 질문 조건으로 Summarize(q, W(p))를 적용해 단축된 스니펫으로 변환하고, 이 스니펫들이 다음 상태의 관찰로 결합되어 이후의 행동 결정에 사용된다. 검색 도구는 호출 예산 B_img, B_text로 제한되며 각 호출 시 exclude_t로 현재까지 본 페이지 목록 P_t를 전달해 중복을 막고 P_{t+1}=P_t ∪ {p_i}로 갱신된다. 학습은 두 단계로 구성된다. 첫 단계는 리젝션 샘플링으로 초기 정책에서 여러 궤적을 샘플링한 뒤 규칙 기반 필터(도구 호출 형식 유효성, 실행 가능성, 최종 정답 여부)를 적용해 SFT 데이터셋을 구성해 지도학습을 수행한다. 두 번째 단계는 시퀀스 수준 RL로 TN-GSPO를 적용하며, 이때 생성 토큰 집합 T_gen만 그래디언트에 기여하도록 하고 도구에서 반환된 토큰 T_tool은 마스킹한다. TN-GSPO에서는 Δ_t = log πθ(y_t|s_t) − log π_ref(y_t|s_t)와 L(τ)=|T_gen|, H(τ)=1+#tool_calls를 정의하고 D(τ)=L(τ)(1+c·H(τ)^α)를 통해 정규화해 시퀀스 단위 비율 rθ(τ)=exp((1/D(τ))Σ_{t∈T_gen}Δ_t)를 계산해 중심화된 이점을 사용해 정책을 갱신한다. 또한 보상 설계는 정답 보상 r_ans, 형식 보상 r_fmt, 도구 비용 페널티 λ·C(τ)로 이루어져 예산 효율성과 형식 준수를 함께 유도한다.

주요 벤치마크에서 ProMSA는 E-VQA와 InfoSeek 모두에서 강력한 성능을 보였다. 예컨대 Qwen3-VL-8B 백본을 사용한 경우 E-VQA 전체(all)에서 52.6, InfoSeek 전체(all)에서 53.4의 성능을 보고했다. 이 수치는 기존의 RAG 기반 및 검색-에이전트 계열 강력한 베이스라인을 일관되게 상회했다. 학습 단계별 기여 분석에서는 Base→Cold-Start(SFT)→RL 순으로 성능이 크게 개선되었으며 표 2의 집계에 따르면 평균 정확도가 Base 35.1에서 Stage I 40.7로, Stage II 53.0으로 상승했다. 최적화 기법 비교에서 TN-GSPO는 GRPO·GSPO 계열보다 우수한 결과를 보였고 표 3에서 TN-GSPO가 E-VQA에서 52.6, InfoSeek에서 53.4를 달성해 다른 시퀀스 수준 방법보다 안정적 성능 개선을 확인했다. 도구 구성 및 예산에 관한 소거 실험에서 텍스트와 이미지 검색을 모두 사용할 때 성능이 가장 높았고(Table 4), Top-k와 도구 콜 예산을 조절하면 재현율과 노이즈 트레이드오프가 관찰되었다. 추가적으로 학습 동역학 시각화에서 TN-GSPO는 도구 호출 수를 급격히 줄이지 않고 합리적 범위에서 안정화해 탐색과 증거 수집의 균형을 유지했다.

전체 아키텍처는 단일 멀티모달 생성 정책 πθ를 중심으로 구성되며 정책 출력은 시퀀스화된 구조 y_t=(z_t, u_t, args_t)이다. z_t는 내부 추론 텍스트로 다음 행동 결정을 위한 컨텍스트로 사용되며 u_t은 img_search, text_search, stop 중 하나인 행동 토큰이고 args_t는 쿼리 재작성, top-k, 제외 목록 등 도구 인자를 포함한다. 검색 도구는 EVA-CLIP(이미지 리트리버)과 BGE(텍스트 리트리버)를 사용하고 각 호출은 Top-3 페이지나 섹션을 반환하며 반환 문서는 Qwen3-VL-8B 기반 요약기로 질문 조건의 요약 스니펫으로 압축된다. 학습에서는 먼저 리젝션 샘플링으로 SFT 데이터셋을 구성해 형식적 실행 가능성을 보장하고 그 다음 TN-GSPO로 시퀀스 수준 RL을 수행한다. TN-GSPO는 Δ_t, L(τ)=|T_gen|, H(τ)=1+#tool_calls을 정의하고 D(τ)=L(τ)(1+c·H(τ)^α)를 통해 전체 시퀀스의 로그 확률 차이를 정규화한 후 시퀀스 수준 비율 rθ(τ)=exp((1/D(τ))ΣΔ_t)를 사용해 클립된 목표를 최적화한다. 구현 세부사항으로는 SFT 학습률 1×10⁻⁵으로 3에폭, RL 단계 학습률 1×10⁻⁶ 전역 배치 128, asymmetric clipping(low=0.2, high=0.28), 각 궤적 최대 상호작용 T=7, 도구 비용 페널티 λ=0.5, c=0.04, α=1, 토큰 예산 궤적당 16384, 훈련 환경은 8×A800 GPU로 보고되었다.

추가적인 도구 호출 수 또는 더 큰 Top-k는 회수율을 높이지만 불필요한 노이즈를 함께 증가시켜 성능 향상에 한계와 경우에 따라 역효과를 초래할 수 있다. 도구 비용 제약은 학습 시 에이전트가 조기 중단을 선택하게 하여 일부 경우 잘못된 검색 결과에도 멈추는 행동을 유발할 수 있다. 긴꼬리 사례에서는 모델이 회수된 문서의 정합성을 완전히 확신하지 못해 일부 정답-정지 패턴이 비효율적으로 나타나는 한계가 보고되었다.