UniG2U-Bench: 통합 모델은 멀티모달 이해를 진전시키는가?

이미지 생성과 이해를 동시에 수행하는 통합 멀티모달 모델이 실제 이해력 향상에 기여하는지 체계적으로 분석한 최초의 대규모 벤치마크이다. 특정 공간 지능 과제에서는 생성이 도움이 되지만, 일반적인 논리 추론에서는 오히려 성능이 저하되는 '정렬 비용(Alignment Tax)' 현상을 규명하여 향후 모델 설계 방향을 제시한다.

기존 멀티모달 모델은 이미지 이해(VLM)와 생성(Diffusion 등)이 분리된 구조였으나, 최근에는 Transformer 아키텍처 내에서 이 두 능력을 통합하려는 시도가 늘고 있다. 하지만 단순히 두 기능을 합치는 것이 상호 보완적인지 아니면 서로 방해하는지에 대한 기술적 근거가 부족한 상황이었다.

이 논문은 '생성 후 답변(Generate-then-Answer, GtA)' 방식을 통해 모델이 중간 추론 과정을 시각화하도록 유도한다. 이는 수학 문제를 풀 때 보조선을 그리는 것과 유사한 원리로, 모델이 복잡한 공간적 변화나 상태 전이를 외부 메모리인 이미지에 기록하여 인지 부하를 줄이려는 시도이다.

실험 결과, 공간 지능이나 시각적 착시 해결 등 시각적 변환이 핵심인 과제에서는 생성이 이해를 돕는 긍정적 효과가 나타났다. 하지만 논리적 제약이 강한 과제에서는 생성된 이미지의 미세한 오류가 전체 추론을 망치는 오류 전파 문제가 발생하며, 통합 학습 자체가 기본 이해 성능을 저하시키는 정렬 비용이 존재함을 확인했다.

UMM(Unified Multimodal Model)을 E2E(End-to-End), Decoupled, Agentic 세 가지 범주로 분류하여 아키텍처적 차이에 따른 G2U 효과를 분석한다. E2E 모델은 단일 파라미터 공간에서 생성과 이해를 공동 학습하며, Decoupled 시스템은 모듈별로 분리된 구조를 가진다.

추론 프로토콜을 Direct Inference와 GtA Inference로 이원화하여 비교한다. GtA 모드에서는 모델이 먼저 중간 시각적 유물(G)을 생성한 후, 이를 입력 이미지와 함께 다시 소비하여 최종 답변(y)을 도출하는 과정을 거친다.

RA 지표는 [생성 지시문과 원본 이미지를 입력으로] -> [중간 생성물의 충실도를 5점 척도로 평가하여] -> [수치화된 점수를 산출하며] -> [이는 모델이 추론 과정을 시각적으로 얼마나 정확하게 외부화했는지를 나타낸다.]

AL 지표는 [생성된 중간 이미지와 최종 답변을 입력으로] -> [두 정보 간의 논리적 정합성을 검증하여] -> [일관성 점수를 도출하며] -> [이는 모델이 자신이 생성한 시각 정보를 추론에 얼마나 잘 활용했는지를 의미한다.]

35개 모델 평가 결과, 통합 모델은 대부분 기본 VLM(Base VLM)보다 성능이 낮게 나타났다. 특히 GtA 방식은 직접 답변 방식보다 평균적으로 성능이 저하되었으며, 이는 생성된 이미지의 물리적 불일치나 오류가 추론 모듈을 오도하기 때문이다.

공간 지능(Spatial Intelligence), 시각적 착시(Visual Illusions), 다단계 추론 과제에서는 GtA가 유의미한 성능 향상을 보였다. 미로 찾기(Maze)나 퍼즐(Sliding Puzzle) 과제에서 중간 상태를 시각화하는 것이 시각적 사고의 사슬(Visual CoT) 역할을 수행함을 입증했다.

상관관계 분석 결과, 동일한 베이스 모델을 공유하는 통합 모델들은 아키텍처가 다르더라도 유사한 G2U 행동 패턴을 보였다. 이는 통합 모델의 성능이 생성 알고리즘보다는 상속된 기본 시각-언어 표현력에 더 크게 의존함을 시사한다.

UniG2U-Bench는 3,000개의 샘플을 7개 상위 카테고리와 30개 세부 과제로 정교하게 큐레이션하여, 단순 인식을 넘어선 생성을 통한 이해 능력을 정밀하게 평가한다.

정렬 비용(Alignment Tax)은 생성 손실 함수와 이해 손실 함수가 단일 모델 내에서 충돌하며 발생하는 현상으로, 파라미터 수준의 결합이 미세한 인지 능력을 저해할 수 있음을 시사한다.

GtA 프로토콜은 시각적 CoT를 명시적으로 구현하며, 모델이 생성한 중간 이미지가 외부 작업 공간(External Workspace) 역할을 하여 암묵적 메모리 부담을 줄여준다.

RA/AL 지표는 GPT-4o를 판정관으로 활용하여 생성물의 지시 이행 능력과 논리적 정합성을 정량화하며, 이는 향후 통합 모델의 신뢰성 평가 표준으로 활용될 수 있다.

현재 통합 모델들은 복잡한 수학적/논리적 제약을 시각적으로 정확히 표현하는 데 한계가 있으며, 생성된 이미지의 미세한 왜곡이 전체 추론 실패로 이어지는 취약성이 존재한다.