범용 인-컨텍스트 분류기로서의 대형 멀티모달 모델

대형 멀티모달 모델(LMM)이 단순 이미지 분류 작업에서 CLIP 같은 대조 학습 모델보다 성능이 떨어진다는 통념을 뒤집었다. 추가 학습 없이 몇 개의 예시만으로도 전문 모델 수준의 정확도를 확보할 수 있음을 증명했다. 특히 정답 레이블이 없는 환경에서도 스스로 레이블을 정교화하는 CIRCLE 기법을 통해 범용 분류기로서의 가능성을 제시했다.

기존의 이미지 분류는 CLIP처럼 이미지와 텍스트의 유사도를 계산하는 대조 학습 모델이 주도해 왔다. 하지만 이런 모델은 미리 정의된 레이블 집합이 있어야 하는 폐쇄형 환경에 최적화되어 있으며, 새로운 도메인이나 복잡한 질의가 포함된 오픈 월드 환경에서는 유연성이 떨어진다. 반면 생성형 모델인 LMM은 뛰어난 추론 능력을 갖췄음에도 불구하고, 단순 분류 작업에서는 0-shot 성능이 낮아 과소평가되어 왔다.

이 논문은 LMM의 잠재력을 깨우는 열쇠로 '인-컨텍스트 러닝(ICL)'에 주목한다. ICL은 모델의 가중치를 수정하지 않고 프롬프트에 몇 개의 입력-출력 쌍을 포함시켜 모델이 작업의 맥락을 파악하게 하는 기법이다. LMM은 이 예시들을 통해 현재 분류해야 할 이미지의 시각적 특징과 레이블 간의 관계를 파악하며, 이는 마치 사람이 몇 가지 예시를 보고 새로운 규칙을 익히는 것과 유사한 원리로 작동한다.

특히 레이블이 없는 상황을 해결하기 위해 제안된 CIRCLE은 '자기 정교화(Self-refinement)' 원리를 이용한다. 먼저 모델이 각 이미지에 임시 레이블을 붙인 뒤, 다른 이미지들을 참고 자료(Context)로 삼아 자신의 레이블이 적절한지 다시 판단하게 한다. 이 과정을 반복하면 모델 내부에 일관된 분류 체계가 형성되어, 외부의 도움 없이도 매우 정교한 분류가 가능해진다.

폐쇄형 분류(CWC)에서는 'Vanilla ICL' 설정을 사용한다. n개의 (이미지, 레이블) 쌍을 프롬프트의 컨텍스트 윈도우에 배치하고, 마지막에 질의 이미지와 객관식 질문(MCQ) 형태의 쿼리를 입력한다. 모델은 Attention Mechanism을 통해 컨텍스트의 예시들과 질의 이미지 간의 상관관계를 계산하여 정답 토큰을 생성한다.

오픈 월드 분류(OWC)를 위한 CIRCLE 알고리즘은 3단계로 구성된다. 1단계는 레이블이 없는 컨텍스트 이미지들에 대해 초기 의사 레이블을 생성하는 단계다. 2단계는 'Leave-one-out' 방식으로, 특정 이미지를 제외한 나머지 이미지들을 컨텍스트로 사용하여 해당 이미지의 레이블을 반복적으로 수정(Refinement)한다. 3단계는 최종적으로 정교화된 컨텍스트를 사용하여 질의 이미지를 분류한다.

수식적으로는 시간 t에서의 컨텍스트를 구성할 때, j번째 샘플을 제외한 나머지 샘플들의 집합 [다른 이미지와 이전 레이블들 → LMM 디코더를 통한 텍스트 생성 → 현재 이미지의 갱신된 레이블] 순으로 계산이 진행된다. 이 과정은 병렬적으로 수행되어 컨텍스트 내 샘플 간의 의존성을 캡처하며, 반복 횟수가 늘어날수록 레이블의 시각적 입도(Granularity)가 일관되게 조정된다.

폐쇄형 분류 실험에서 Qwen2-VL-7B 모델은 16-shot 설정 시 0-shot 대비 평균 +17.7%의 정확도 향상을 보였으며, 이는 가장 강력한 VLM인 CLIP-ViT-L/14의 성능과 대등한 수준이다. 특히 Phi-3.5-Vision은 +29.2%라는 비약적인 상승폭을 기록하며 LMM의 높은 데이터 효율성을 입증했다.

오픈 월드 분류에서 CIRCLE은 모든 지표(Llama Inclusion, Semantic Similarity 등)에서 기존 베이스라인을 압도했다. 예를 들어 Prototypical 데이터셋에서 Qwen2-VL의 LI(Llama Inclusion) 점수를 78.7에서 91.5로 끌어올렸으며, 이는 단순 의사 레이블링(81.1)보다 훨씬 높은 수치다.

Ablation Study 결과, 컨텍스트 크기가 커질수록 성능이 지속적으로 향상되었으며, CIRCLE의 반복 정교화 과정은 약 2~3회 라운드에서 성능이 수렴하며 효율적인 최적화를 보여주었다.

본 연구는 LMM을 판별적 작업(Discriminative tasks)에 활용하기 위한 프레임워크를 제안하며, 특히 생성형 모델의 특성을 활용한 인-컨텍스트 러닝의 효과를 심층 분석했다. LMM의 비전 인코더, 커넥터, LLM 디코더로 이어지는 아키텍처가 컨텍스트 예시를 어떻게 활용하는지 수식적으로 정의했다.

CIRCLE의 핵심은 컨텍스트 내 샘플 간의 의존성(Inter-sample dependencies)을 모델링하는 것이다. 기존의 단순 의사 레이블링은 각 샘플을 독립적으로 처리하여 시각적 입도가 불일치하는 문제가 있었으나, CIRCLE은 반복적인 자기 참조를 통해 전체 컨텍스트의 의미론적 일관성을 확보한다.

실험에서는 Qwen, LLaVa, Phi 시리즈 등 다양한 아키텍처의 LMM을 평가하여 기법의 범용성을 확인했다. 또한 텍스트 포함 여부(LI), 문장 수준 유사도(SS), 개념 수준 유사도(bCS, mCS) 등 다각적인 평가 지표를 도입하여 생성된 레이블의 품질을 엄밀히 검증했다.

외부 감독(Supervision)이 전혀 없기 때문에, 모델의 정교화 과정이 시각적으로는 일관되지만 실제 작업 의도와는 다른 잘못된 레이블 해석으로 수렴할 위험이 있다. 또한 스트리밍 환경에서 메모리를 동적으로 업데이트할 때 발생하는 계산 오버헤드가 대규모 데이터 처리 시 제약이 될 수 있다.