보는 것이 믿는 것은 아니다: 평가자 시각-언어 모델의 사각지대 발견

최근 AI 모델의 성능을 사람이 아닌 다른 AI(VLM)가 평가하는 방식이 늘고 있지만, 이 평가자 모델들이 실제로는 심각한 오류를 잡아내지 못한다는 사실을 밝혀냈습니다. 특히 미세한 공간 관계나 물리적 모순을 파악하지 못해 잘못된 피드백을 줄 위험이 있음을 경고하며 더 신중한 도입이 필요함을 시사합니다.

최근 대형 시각-언어 모델(VLM)은 다른 모델의 결과물을 채점하거나 학습 시 보상 모델로 활용되는데, 이는 모델이 이미지와 텍스트 사이의 정렬 상태를 완벽히 이해한다는 가정을 전제로 한다. 하지만 기존 연구들은 단순히 인간과의 상관관계만 보았을 뿐, 모델이 특정 유형의 오류(예: 왼쪽/오른쪽 반전, 물리 법칙 위반)를 실제로 인지하고 점수를 깎는지에 대한 정밀한 검증이 부족했다.

이 논문은 '변조(Perturbation)' 개념을 핵심 도구로 사용한다. 원본 데이터에 사람이 의도적으로 미세한 오류를 주입했을 때, 평가자 모델이 이를 감지하여 점수를 낮추는지 확인하는 방식이다. 예를 들어 '빨간 차'를 '파란 차'로 바꾼 텍스트나, 중력을 무시하고 떠 있는 물체가 포함된 이미지를 제시하여 모델의 논리적 일관성을 시험한다.

실험 결과, 최신 VLM들도 50% 이상의 사례에서 오류를 잡아내지 못하는 사각지대가 존재함이 밝혀졌다. 이는 평가자 모델이 단순히 문장의 유창함이나 이미지의 화질 같은 표면적인 특징에 의존할 뿐, 실제 시각적 근거와 논리적 인과관계를 깊이 있게 파악하지 못하고 있음을 의미한다.

FOCUS 벤치마크는 I2T와 T2I 두 가지 갈래로 구성된다. I2T에서는 이미지와 질문에 대한 정답(Gold)을 생성한 뒤, 이를 시각적 근거(VG), 의미적 해석(SI), 시각적 추론(VR), 장문 생성(LG) 카테고리에서 변조한다. T2I에서는 텍스트 프롬프트에 맞는 이미지를 생성한 후 시각적 충실도(VF), 장면 일관성(SC), 물리적 개연성(PP), 텍스트 렌더링(TR) 측면에서 변조를 가한다.

변조 생성 프로세스는 Gemini 3.1 Pro를 활용한 자동 생성과 전문가의 수동 검증을 결합한 Human-in-the-loop 방식을 채택했다. 변조된 결과물이 원본보다 확실히 품질이 낮다는 것을 보장하기 위해 '유효한 변조' 여부를 엄격히 라벨링했다.

평가 지표로는 단일 점수화(Single-answer scoring) 시 점수가 변하지 않는 비율과 쌍별 비교(Pairwise comparison) 시 오류가 있는 답변을 선택하는 실패율을 측정했다. 수식적으로는 변조 전후의 점수 차이 ΔS를 계산하여 ΔS ≤ 0인 경우(오류를 감지하지 못한 경우)를 실패로 정의한다.

실험 결과, 쌍별 비교(Pairwise) 방식이 단일 점수화 방식보다 훨씬 신뢰도가 높았으나 여전히 T2I 작업에서는 실패율이 30%를 상회했다. 특히 물리적 개연성(PP)과 미세한 시각적 근거(VG)를 판단하는 영역에서 모델들이 가장 큰 어려움을 겪는 것으로 나타났다.

모델별로는 Gemini 3.1 Pro가 가장 우수한 성능을 보였으나, 일반적인 벤치마크 순위가 높은 모델이 반드시 좋은 평가자가 되지는 않는다는 사실을 확인했다. 또한 추론 예산(Reasoning budget)을 늘려도 평가의 신뢰성이 일관되게 향상되지 않았으며, 때로는 오히려 성능이 저하되는 현상도 관찰되었다.

본 연구는 VLM을 평가자로 사용할 때 발생하는 'Blind Spots'을 체계적으로 분류했다. I2T에서는 객체 속성 왜곡, 공간 관계 역전, 환각 주입 등을 다루며, T2I에서는 인과 관계 위반, 물리 법칙 무시, 텍스트 오타 등을 포함한다. 아키텍처적으로는 Vanilla, Rubric, Axes, Axes+Rubric 등 다양한 프롬프팅 전략을 비교하여 구조화된 평가 축(Axes)을 제공하는 것이 성능 향상에 기여함을 입증했다.

특히 '점수 불변 변조(Score-invariant perturbation)' 분석을 통해 모델이 사소한 차이에 과도하게 민감하거나, 반대로 치명적인 오류에는 둔감한 양상을 정량화했다. 이는 향후 VLM 기반 보상 모델 설계 시 단순한 선호도 학습을 넘어 논리적 정합성을 강제해야 함을 시사한다.

본 연구는 모델의 추론 과정(Reasoning traces)을 직접 분석하지 못해 왜 특정 상황에서 성능이 저하되는지에 대한 근본적인 원인 분석은 추측에 의존하고 있다. 또한 사용된 변조 기법이 다양하지만 실제 야생에서 발생할 수 있는 모든 오류 케이스를 포괄하지는 못할 수 있다.