RubiCap: 상세 이미지 캡셔닝을 위한 루브릭 가이드 기반 강화학습

상세 이미지 캡셔닝(Dense image captioning)은 시각-언어 사전 학습(Vision-language pretraining) 및 텍스트-이미지 생성(Text-to-image generation)에서 교차 모달 정렬(Cross-modal alignment)을 위해 매우 중요하지만, 전문가 수준의 주석을 대규모로 확보하는 것은 비용이 매우 많이 듭니다. 강력한 시각-언어 모델(VLM)을 통한 합성 캡셔닝(Synthetic captioning)이 실질적인 대안으로 제시되고 있으나, 지도 학습 기반 지식 증류(Supervised distillation)는 출력의 다양성이 제한적이고 일반화 성능이 낮다는 단점이 있습니다. 강화학습(Reinforcement Learning, RL)은 이러한 한계를 극복할 수 있지만, 지금까지의 성공은 주로 결정론적인 검사기(Deterministic checkers)에 의존할 수 있는 검증 가능한 도메인에 집중되어 왔으며, 개방형 캡셔닝 분야에서는 이러한 혜택을 누리기 어려웠습니다. 본 연구에서는 대형 언어 모델(LLM)이 작성한 루브릭(Rubric)으로부터 세밀하고 샘플 특화된 보상 신호를 도출하는 새로운 강화학습 프레임워크인 RubiCap을 제안하여 이 병목 현상을 해결합니다. RubiCap은 먼저 후보 캡션들의 다양한 위원회(Committee)를 구성한 다음, LLM 루브릭 작성기(Rubric writer)를 사용하여 현재 정책의 공통된 강점을 추출하고 결함을 진단합니다. 이러한 통찰은 명시적인 평가 기준으로 변환되어, LLM 판별기(Judge)가 전체적인 품질 평가를 분해하고 거친 스칼라 보상을 구조화되고 다면적인 평가로 대체할 수 있게 합니다. 광범위한 벤치마크 테스트 결과, RubiCap은 CapArena에서 가장 높은 승률을 기록하며 지도 학습 증류, 기존 강화학습 방법, 인간 전문가 주석 및 GPT-4V로 보강된 출력을 능가했습니다. CaptionQA에서는 우수한 단어 효율성을 입증하여, RubiCap으로 학습된 7B 모델은 Qwen2.5-VL-32B-Instruct와 대등한 성능을 보였고, 3B 모델은 기존의 7B 모델을 앞질렀습니다. 특히, 경량화된 RubiCap-3B를 캡셔너로 사용하여 사전 학습된 VLM은 상용 모델의 캡션으로 학습된 모델보다 더 강력한 성능을 나타냈습니다.