자가 지도 가이드를 통한 시각적 지시 조정 성능 강화

멀티모달 대형 언어 모델(MLLM)이 시각 정보보다 텍스트 패턴에 의존하는 '언어 편향' 문제를 해결하기 위한 연구이다. 별도의 인간 주석 없이도 모델이 이미지의 세부 특징에 강제로 집중하게 만드는 자가 지도 학습 과제를 도입하여 시각적 추론 성능을 개선했다.

멀티모달 모델의 학습 과정에서 발생하는 '언어적 지름길(Language Shortcut)' 현상을 해결하고자 했다. Transformer 기반 MLLM은 학습 데이터 내의 텍스트 패턴이 강력할 경우, 이미지 토큰을 정밀하게 분석하기보다 텍스트 통계에 의존하여 답을 내놓는 경향이 있다. 이는 시각적 이해가 필수적인 상황에서도 모델이 눈을 감고 짐작으로 대답하는 것과 같은 한계를 만든다.

이 문제를 해결하기 위해 연구진은 모델이 '반드시 이미지를 봐야만 풀 수 있는' 문제를 학습 과정에 섞어 넣었다. 예를 들어 이미지를 90도 회전시킨 뒤 회전 각도를 맞추게 하거나, 흑백 이미지의 특정 지점이 원래 어떤 색이었는지 맞추게 하는 방식이다. 이러한 과제들은 텍스트 정보만으로는 정답 확률이 균등하기 때문에 모델은 손실 함수를 줄이기 위해 시각적 특징 임베딩에 더 집중하게 된다.

결과적으로 모델은 텍스트와 이미지 사이의 정렬을 넘어, 이미지 내부의 기하학적 구조와 세부 질감을 더 깊이 있게 파악하는 능력을 갖추게 된다. 이는 복잡한 시각적 추론이 필요한 실제 서비스 환경에서 모델의 답변 신뢰도를 높이는 핵심적인 변화를 이끌어낸다.

V-GIFT는 기존 MLLM의 지시 조정(Instruction Tuning) 단계에 자가 지도 학습(SSL) 기반의 데이터셋 D_ssl을 추가하는 방식을 취한다. 전체 학습 데이터 D는 기존 지시문 데이터 D_inst와 새롭게 생성된 D_ssl의 합집합으로 구성되며, 두 데이터 사이의 비율 ρ를 조절하여 학습을 진행한다. 별도의 아키텍처 수정이나 보조 손실 함수(Auxiliary Loss) 없이 표준적인 Autoregressive Cross-Entropy Loss를 그대로 사용한다.

핵심 과제는 세 가지로 구성된다. 첫째, Rotation Prediction은 이미지를 {0, 90, 180, 270}도 중 하나로 회전시킨 후 각도를 맞추는 과제다. 둘째, Point-wise Colorization은 컬러 이미지를 흑백으로 변환하고 특정 좌표의 원래 색상 인덱스를 맞추게 한다. 셋째, Point Correspondence는 동일 객체의 서로 다른 두 뷰(View)에서 대응되는 지점을 찾는 과제다. 각 과제는 [이미지 I → 지시문 x → 응답 y]의 트리플렛 형태로 구성되어 기존 학습 파이프라인에 즉시 통합된다.

수학적으로는 모델 파라미터 θ에 대해 입력 토큰 시퀀스가 주어졌을 때 다음 토큰의 로그 확률을 최대화하는 방향으로 학습된다. 정답 토큰 y_j와 이전 토큰들 y_<j, 지시문 x, 이미지 I가 입력될 때 -Σ log p_θ(y_j | y_<j, x, I)를 계산하여 손실을 산출한다. 이 과정에서 시각적 근거가 없는 응답은 높은 손실을 발생시키므로, Gradient Descent를 통해 모델 가중치는 시각적 토큰을 더 정밀하게 참조하는 방향으로 갱신된다.

LLaVA-1.5-Vicuna-7B 모델에서 V-GIFT 적용 시 CVB-2D 벤치마크 점수가 55.9에서 58.5로 2.6점 상승했으며, 전체 평균 성능도 0.9점 향상되었다. 특히 LLaVA-1.5-Qwen2.5-7B 모델에서는 BLINK 벤치마크에서 1.7점의 유의미한 상승을 기록하며 시각적 추론 능력의 개선을 입증했다.

최신 모델인 LLaVA-OneVision-1.5에서도 효과가 확인되었다. 3%의 SSL 데이터 주입만으로 BLINK 점수가 48.8에서 52.2로 3.4점 크게 상승했으며, 전체 평균은 65.7에서 66.9로 개선되었다. 이는 V-GIFT가 모델의 크기나 기본 성능에 관계없이 시각적 정보 활용도를 높이는 데 효과적임을 보여준다.

Ablation Study 결과, 세 가지 SSL 과제를 모두 혼합하여 사용할 때 가장 높은 성능 향상을 보였다. 또한 SSL 과제를 지시 조정 단계 이전에 별도로 학습하거나 이후에 추가 학습하는 것보다, 기존 데이터와 섞어서 동시에 학습(Joint Training)하는 것이 카타스트로픽 포게팅(Catastrophic Forgetting)을 방지하고 시각-언어 정렬을 강화하는 데 가장 유리한 것으로 나타났다.

V-GIFT는 MLLM의 디코딩 과정에서 발생하는 시각적 정보의 저활용(Under-utilization) 문제를 데이터 중심(Data-centric) 접근법으로 해결한다. 기존 연구들이 복잡한 보조 손실 함수나 추가적인 비전 인코더를 도입한 것과 달리, 본 논문은 지시 조정 데이터의 분포를 조정하는 것만으로도 LLM 백본이 시각적 토큰에 더 높은 Attention Weight를 할당하도록 유도한다.

구현 측면에서 Point-wise Colorization 과제는 COCO 2017 데이터를 활용하며, 샘플링된 점들 사이의 유클리드 거리를 40 이상으로 유지하여 색상 모호성을 제거한다. Point Correspondence 과제는 Stable Diffusion의 세그멘테이션 마스크와 DINOv2의 특징 맵을 결합하여 인간의 개입 없이 고품질의 대응점 데이터를 자동 생성한다. 이러한 자동화된 데이터 생성 공정은 모델 학습의 확장성을 보장한다.

본 연구는 주로 2D 이미지 기반의 시각적 추론에 집중되어 있으며, 3D 포인트 클라우드나 비디오, 오디오와 같은 다른 멀티모달 입력에 대한 확장성은 아직 검증되지 않았다. 또한 자가 지도 과제의 비율 ρ를 모델마다 다르게 설정해야 최적의 성능이 나온다는 점에서 하이퍼파라미터 튜닝이 일부 필요할 수 있다.