MMEmb-R1: 쌍 인지 선택 및 적응형 제어를 통한 추론 강화 멀티모달 임베딩

기존 멀티모달 임베딩 모델은 MLLM의 강력한 추론 능력을 충분히 활용하지 못하거나, 모든 입력에 추론을 강제하여 속도가 느려지는 문제가 있었다. 이 논문은 필요한 경우에만 선택적으로 추론을 수행하는 적응형 메커니즘을 도입하여 성능 향상과 효율성 확보라는 두 마리 토끼를 잡았다.

임베딩은 데이터를 벡터 공간의 점으로 변환하는 과정이며, 두 점 사이의 거리는 데이터의 유사도를 의미한다. 기존 방식은 이미지와 텍스트를 단순히 정렬하는 데 집중했으나, 복잡한 관계(예: 요리 영상의 다음 단계 예측)에서는 단순 특징 추출만으로 부족하다는 한계가 있다. 이를 해결하기 위해 모델이 데이터를 벡터화하기 전 '생각(Reasoning)'을 하게 만들면 더 깊은 의미를 포착할 수 있다.

하지만 모든 데이터에 대해 깊게 생각하는 것은 비효율적이다. '고양이 사진'처럼 명확한 데이터는 즉시 벡터화하는 것이 빠르고 정확하며, 오히려 과도한 추론은 노이즈를 유발할 수 있다. MMEmb-R1은 이 문제를 해결하기 위해 '추론이 임베딩 품질을 얼마나 높였는가'를 수치화한다. 구체적으로 추론이 있을 때와 없을 때의 유사도 차이를 계산하여, 추론의 실질적 기여도를 보상 신호로 사용한다.

결과적으로 모델은 강화학습을 통해 어려운 문제에만 추론 자원을 집중하고 쉬운 문제는 빠르게 처리하는 전략을 익힌다. 이는 마치 숙련된 전문가가 쉬운 문제는 직관으로 풀고 어려운 문제만 논리적으로 분석하는 것과 유사한 원리로 작동하며, 이를 통해 정확도 향상과 연산 속도 최적화를 동시에 달성한다.

전체 프레임워크는 세 단계로 구성된다. 첫 번째는 쌍 인지 추론 풀 구축 단계로, 서로 다른 특성을 가진 여러 MLLM(Instruct, Thinking, Proprietary 모델)을 사용하여 다양한 추론 후보를 생성한다. 이후 반사실적 평가자(Pair-aware Evaluator)가 추론 경로가 포함된 경우와 제외된 경우의 매칭 점수 차이인 ∆r = cr - c0를 계산하여 유용한 경로를 선별한다.

두 번째는 공동 추론 및 임베딩 학습 단계이다. 선별된 추론 경로를 사용하여 추론 강화 임베딩 경로(Lreason)와 원본 입력을 직접 처리하는 직접 임베딩 경로(Ldirect)를 동시에 학습시킨다. 이때 모델은 다음 토큰 예측 손실(LCoT)을 통해 추론 과정을 내재화하며, 임베딩 공간에서 쿼리와 타겟의 정렬을 최적화한다.

세 번째는 GRPO를 이용한 적응형 제어 학습 단계이다. 모델이 입력에 대해 '직접 임베딩'할지 '추론 후 임베딩'할지 결정하는 정책(Policy)을 강화학습으로 최적화한다. 보상 함수는 임베딩 품질 향상분(δi)에서 추론 길이에 따른 비용 페널티(μ(Li))를 뺀 값으로 구성되어, 성능과 효율성의 균형을 맞춘다.

MMEB-V2 벤치마크에서 Qwen3-VL-4B 백본을 사용한 MMEmb-R1은 71.2점을 기록하며 SOTA를 달성했다. 이는 파라미터 수가 훨씬 많은 RzenEmbed-v1-7B(68.9점)를 능가하는 결과이다. 특히 비디오 모달리티에서 55.6점을 기록하며 기존 모델 대비 큰 폭의 성능 향상을 보였다.

효율성 측면에서 적응형 메커니즘은 모든 입력에 추론을 강제하는 방식 대비 1.8배, 기존 추론 기반 모델인 UME-R1 대비 2.5배 빠른 추론 속도를 기록했다. 이는 모델이 전체 쿼리의 약 74.3%에서만 추론을 수행하도록 학습되어 불필요한 연산을 효과적으로 회피했기 때문이다.

Ablation Study 결과, 단일 모델의 추론만 사용하는 것보다 다양한 모델의 추론 후보를 사용하는 것이 성능 향상에 핵심적임이 확인되었다(-3.8점 하락). 또한 반사실적 개입을 통한 경로 선택을 제외할 경우 성능이 유의미하게 감소하여, 단순히 추론을 추가하는 것보다 '유용한' 추론을 선별하는 것이 중요함을 입증했다.

MMEmb-R1은 MLLM을 단순한 특징 추출기가 아닌 생성적 추론기로 활용한다. 아키텍처는 ViT와 언어 모델 백본을 비주얼 어댑터로 연결한 구조를 따르며, 임베딩 추출을 위해 특정 특수 토큰(<d_emb>, <r_emb>)의 히든 스테이트를 활용한다. 직접 모드에서는 입력 토큰 직후의 상태를, 추론 모드에서는 생성된 추론 경로 이후의 상태를 임베딩으로 사용한다.

핵심 기술적 차별점은 추론 경로 r을 확정적 출력이 아닌 잠재 변수(Latent Variable)로 모델링한 점이다. 이를 통해 사후 분포(Posterior)에서 최적의 경로를 샘플링하는 구조를 취하며, 이 과정에서 발생하는 계산 복잡도를 해결하기 위해 오프라인에서 다양한 워커 모델을 통한 Prior Simulation을 수행한다.

강화학습 단계에서 사용된 GRPO는 별도의 가치 함수(Value Function) 네트워크 없이 그룹 내 상대적 우위를 통해 정책을 업데이트하므로, 대규모 멀티모달 모델의 학습 메모리 부담을 획기적으로 줄였다. 보상 설계 시 임베딩의 랭킹 지표와 유사도 갭을 결합하여 미분 불가능한 검색 성능 지표를 학습 프로세스에 직접 반영했다.

현재 프레임워크는 오프라인 추론 생성, 쌍 인지 선택, 2단계 학습으로 이어지는 파이프라인 구조를 가지고 있어 전체 구성 요소의 동시 최적화가 불가능하다. 또한 적응형 정책이 추론 여부만을 결정하는 이진 분류(Binary Decision)에 국한되어 있어, 추론의 깊이나 상세도를 동적으로 조절하는 수준까지는 도달하지 못했다.