PerceptionRubrics: 인간 지각에 맞춘 멀티모달 평가 보정

PerceptionRubrics는 기존 유사도 중심 벤치마크가 실제 지각적 취약성을 은폐하는 문제를 해결하기 위해 설계된 기준이다. 이미지와 캡션을 원자적 검증 단위로 분해해 핵심 사실 하나라도 틀리면 강하게 패널티를 부과하는 방식으로 인간의 비선형적 감수성을 반영한다. 이 접근은 높은 평균 점수에도 불구하고 실제 배포 환경에서 발생하는 치명적 오류를 더 잘 드러내어 모델 개선의 진단력을 높였다.

멀티모달 평가에서 기존의 유사도 기반 점수는 전체적 의미 일치(broad semantic overlap)를 측정하는 반면, 인간 지각은 특정 국소 사실의 정확성을 비선형적으로 판단한다. 따라서 이미지 이해를 골든 캡션이라는 고밀도 텍스트로 먼저 변환하고, 그 텍스트에서 원자적 참/거짓 검증 항목을 추출하면 시각적 사실의 정확도를 직접적으로 측정할 수 있다. 이 방식은 Attention이나 임베딩 기반 유사도 계산이 잡아내기 어려운 세부적 환각이나 공간관계 오류를 표면화한다.

PerceptionRubrics는 설계 원칙으로 'Perceptual Persistence'와 'Calibrating to Human Sensitivity'를 채택해 복잡성 높은 이미지를 우선 선별했다. 이미지 큐레이션 단계에서 Step3-VL-10B 같은 모델로 시각 복잡도와 정보 밀도를 점수화해 도메인별 임계값을 충족하는 샘플을 확보했다. 골든 캡션 생성은 제한된 반복(N ≤ 2)의 Circular Peer-Review로 시작해 모델들이 후보를 비교·순위화·재작성하고 인간은 최종 검증만 수행하는 discard-on-divergence 정책을 적용했다. 루브릭 생성 단계에서는 골든 캡션을 입력으로 도메인 적응형 프롬프트를 통해 Must-Right와 Easy-Wrong 항목을 추출하고, 평가 단계에서는 GPT-OSS-120B를 판정자(judge)로 사용해 각 루브릭에 대해 이진 판정(True/False)을 얻었다. 최종 점수는 식(1)-(2)에 따라 게이트 G의 상태와 Easy-Wrong 평균을 결합해 산출되며, 여기서 게이트는 Must-Right 항목의 논리곱으로 정의되어 하나라도 실패하면 G가 0이 된다.

데이터 통계에서 PerceptionRubrics는 1,038장 이미지와 평균 770.42단어의 골든 캡션, 총 10,718개 루브릭(평균 10.33루브릭/이미지)을 확보했다. 모델 평가 결과 Seed-2.0-Lite가 전체 70.07%로 최고 성적을 기록했고 Gemini-3.5-Flash와 근접한 성적 분포를 보였으며 반면 GPT-4o는 12.59%로 상대적으로 낮은 성능을 보였다. Atomic Accuracy는 전반적으로 높게 측정되었지만 Must-Right Pass Rate는 상당히 낮아 Reliability Gap이 존재했으며 이 격차는 모델 능력 향상에 따라 점차 줄어드는 경향을 보였다. 또한 PerceptionRubrics 점수는 Vision Arena 인간 선호와 Pearson 0.916, Spearman 1.000의 높은 상관을 보여 인간 정렬도가 우수함이 확인되었다.

전체 시스템은 캡션 중심 파이프라인으로 구성되어 이미지→골든 캡션→루브릭 추출→LLM 판정자 순으로 처리된다. 골든 캡션 생성은 여러 최상위 MLLM이 후보를 생성하고 순환적으로 비교·수정하는 Circular Peer-Review를 사용하며 합의 실패 샘플은 폐기하는 strict consensus 필터링을 채용했다. 루브릭 생성은 도메인 적응형 프롬프트로 Must-Right와 Easy-Wrong 항목을 추출하며 Easy-Wrong 항목은 실제 모델 예측 풀(𝒫)을 분석해 자주 발생하는 오류를 근거로 구성된다. 평가 단계의 수식적 정의는 게이트 G = ∏ᵢ 𝕀(r_{m,i}=True)로 Must-Right의 논리곱을 계산하고, 게이트가 열린 경우 S = G·(1/k)·Σᵢ 𝕀(r_{e,i}=True)로 Easy-Wrong 평균을 취해 최종 점수를 산출한다. 판정자(judge) 안정성 실험에서 GPT-OSS-120B와 GPT-5.5를 비교한 결과 순위 안정성은 유지되었으나 절대 점수 분포는 약간의 편차(예: GPT-OSS-120B가 평균 약 6% 더 엄격)를 보였다.

골든 캡션 생성 단계에서 모델 합의에 실패한 샘플을 폐기하는 정책은 고밀도 이미지의 다양성을 일부 축소했을 가능성이 있으며 이는 데이터 분포 편향을 유발할 수 있다. 루브릭과 골든 캡션 생성에 최상위 MLLM을 광범위하게 활용하므로 해당 모델들의 편향이 참조 문장에 일부 반영될 위험이 존재한다. 판정자 선택에 따른 절대 점수 차이는 관찰되었으나 순위 안정성은 유지되어 평가자의 영향이 완전히 배제되지는 못했다.