RubiCap: 정밀한 이미지 캡셔닝을 위한 루브릭 가이드 강화학습

기존의 이미지 설명 생성 모델은 단순히 정답을 외우는 방식으로 학습되어 표현이 단조롭고 성능 개선에 한계가 있었다. 이 논문은 AI가 스스로 채점 기준인 루브릭을 만들고 이를 바탕으로 강화학습을 수행하게 하여 인간 전문가보다 더 정확하고 상세한 설명을 생성하는 방법을 제시한다.

이미지 캡셔닝은 이미지의 내용을 텍스트로 설명하는 작업이다. 기존에는 교사 모델이 만든 정답 문장을 학생 모델이 그대로 흉내 내는 지도 학습(SFT)을 주로 사용했다. 하지만 이 방식은 학생 모델이 교사의 말투만 복제하거나 이미 알고 있던 다른 지식을 잊어버리는 치명적 망각 문제를 일으킨다. RubiCap은 이를 해결하기 위해 강화학습(RL)을 도입한다. 강화학습의 핵심은 잘했을 때 보상을 주는 것인데 이미지 설명은 정답이 하나가 아니어서 보상을 주기가 매우 어렵다. RubiCap은 여러 AI 모델의 의견을 모아 "이 이미지에는 빨간 자전거가 있어야 함"과 같은 구체적인 채점 기준인 루브릭을 실시간으로 만든다. 이렇게 만들어진 루브릭을 바탕으로 학생 모델이 생성한 문장을 채점한다. 단순히 좋은 문장이라고 점수를 주는 대신 자전거는 맞췄지만 꽃은 빠뜨렸다는 식으로 세밀하게 피드백을 준다. 결과적으로 모델은 정답을 외우는 대신 이미지의 핵심 요소를 정확히 포착하는 법을 배우게 되며 훨씬 적은 단어로도 풍부한 정보를 담은 설명을 생성한다.

RubiCap은 두 단계로 작동한다. 첫 번째는 자동화된 루브릭 합성 단계로 Gemini 2.5 Pro와 같은 VLM 위원회가 후보 캡션을 생성한다. LLM 루브릭 작성자는 이들의 합의점(Consensus)을 추출하고 현재 학습 중인 학생 모델의 캡션과 비교하여 부족한 점을 찾아낸다. 추출된 결함은 심각도에 따라 가중치 $w_m$이 부여된 이진 루브릭 $r_m$으로 변환된다. 주요 피사체 오인식은 3.0, 부가적인 세부 묘사 누락은 1.0의 가중치를 갖는다. LLM 판정관은 학생 모델의 결과물이 각 루브릭을 만족하는지 여부 $\hat{y}_m$을 판정한다. 두 번째 단계는 루브릭 가이드 강화학습이다. GRPO 알고리즘을 사용하여 보상을 최적화한다. 보상 $G$는 [루브릭별 가중치 $w_m$과 판정 결과 $\hat{y}_m$을 입력으로] → [$\sum w_m \hat{y}_m / \sum w_m$ 연산을 수행해] → [0~1 사이의 정규화된 보상을 얻고] → [이 숫자는 모델이 생성한 캡션이 정해진 기준을 얼마나 충실히 따랐는지 나타내는 지표가 된다].

CapArena 벤치마크에서 RubiCap-7B 모델은 인간 전문가의 주석과 GPT-4V 기반 출력을 모두 능가하며 가장 높은 승률을 기록했다. PixMoCap 데이터셋에서 베이스 모델 대비 +20.8%, DenseFusion 데이터셋에서 +14.4%의 성능 향상을 보였다. CaptionQA 평가를 통해 정보 밀도를 분석한 결과 RubiCap-7B는 100~300단어 제한 조건에서 32B 규모의 거대 모델인 Qwen2.5-VL-32B-Instruct와 대등한 성능을 보였다. 3B 모델 역시 7B 베이스 모델보다 높은 효율성을 입증했다. 10종의 VLM 벤치마크를 통한 일반화 성능 측정에서 지도 학습 기반 모델들은 심각한 성능 저하를 겪은 반면 RubiCap은 베이스 모델의 능력을 대부분 보존하면서 캡셔닝 성능만 선택적으로 향상시키는 데 성공했다.

RubiCap은 보상 해킹 문제를 해결하기 위해 샘플 특정적이고 차별적인 루브릭을 사용한다. 기존의 VLM-as-a-Judge 방식이 모호한 단일 점수를 부여하는 것과 달리 RubiCap은 학생 모델이 실제로 실패한 지점에 집중된 다차원 평가 지표를 동적으로 생성한다. 루브릭 합성 시 교사 합의 원칙을 적용한다. 위원회 중 최소 절반 이상의 모델이 동의한 요소만을 정답으로 간주하여 개별 모델의 노이즈나 편향이 루브릭에 반영되는 것을 방지한다. 학습 알고리즘으로는 GRPO를 채택하여 별도의 가치 모델 없이도 효율적인 강화학습이 가능하도록 설계했다. 이는 계산 자원을 절약하면서도 안정적인 정책 업데이트를 지원한다. 실험 결과 루브릭을 단순히 SFT의 프롬프트로 사용하는 것보다 RL의 보상 신호로 사용하는 것이 훨씬 효과적임이 증명되었다. 이는 RL이 모델로 하여금 더 넓은 탐색을 가능하게 하여 최적의 표현을 찾도록 유도하기 때문이다.

루브릭 생성을 위해 여전히 강력한 VLM 위원회와 LLM 루브릭 작성자가 필요하며 이는 초기 데이터 준비 단계에서 연산 비용을 발생시킨다. 또한 루브릭 판정관으로 사용되는 모델의 성능에 따라 보상 신호의 정확도가 제한될 수 있다.