PLUME: 잠재 추론 기반의 범용 멀티모달 임베딩

기존의 고성능 멀티모달 검색 모델은 임베딩을 만들기 전 수백 개의 텍스트 토큰을 생성해야 했기에 실시간 서비스에 부적합했다. PLUME은 이 추론 과정을 모델 내부의 수치 계산으로 내재화하여 정확도는 유지하면서도 추론 속도를 30배 이상 높였다. 특히 비디오나 복잡한 문서처럼 언어로 요약하기 힘든 정보가 많은 데이터에서 탁월한 성능을 보여준다.

딥러닝 모델에서 임베딩은 입력 데이터를 고차원 공간의 점으로 표현하는 과정이다. 기존에는 복잡한 질문에 답하기 위해 모델이 '먼저 생각(CoT)'하고 그 결과를 텍스트로 내뱉은 뒤에야 최종 임베딩을 만들었다. 하지만 이 방식은 텍스트라는 좁은 통로에 정보를 억지로 구겨 넣어야 하고, 수백 개의 단어를 생성하느라 시간이 너무 오래 걸린다는 한계가 있다.

PLUME은 이 '생각하는 과정'을 텍스트로 내뱉지 않고 모델 내부의 숨겨진 수치(Hidden State) 상에서 직접 수행한다. 마치 사람이 말을 내뱉지 않고 머릿속으로만 빠르게 시뮬레이션하는 것과 같다. 이를 위해 모델 내부에 '잠재 롤아웃(Latent Rollout)' 단계를 두어, 단 몇 번의 벡터 연산만으로 복잡한 추론을 마친 뒤 최종 임베딩을 추출한다.

이 접근법은 특히 비디오처럼 프레임 간의 복잡한 관계를 말로 다 설명하기 힘든 경우에 강력하다. 텍스트로 요약하면서 손실될 수 있는 미세한 시각적 정보를 벡터 형태 그대로 유지하며 추론할 수 있기 때문이다. 결과적으로 수백 단어를 생성하던 시간을 10단계 미만의 벡터 연산으로 줄여 연산 효율과 정보 보존이라는 두 마리 토끼를 잡았다.

PLUME의 핵심은 명시적인 텍스트 생성을 연속적인 잠재 상태의 전이로 대체하는 것이다. 전체 프로세스는 멀티모달 프리픽스 인코딩, 잠재 상태 초기화, 반복적 잠재 롤아웃, 접미사 디코딩의 4단계로 구성된다. 입력 x가 주어지면 백본 모델은 이를 처리하여 초기 숨겨진 상태 h_L을 생성하고, 이를 잠재 상태 z(0)로 설정한다.

반복적 잠재 롤아웃 단계에서는 각 단계 k마다 이전 상태 z(k-1)을 입력으로 받아 다음 상태 z(k)를 계산한다. 이때 [z(k-1) → Transition Adapter → z_tilde(k-1)] 과정을 거쳐 상태를 정제한 후, 이를 다시 백본 모델에 입력하여 다음 위치의 숨겨진 상태를 얻는다. 이 과정은 텍스트 토큰을 생성하는 것과 동일한 자기회귀적 구조를 가지지만, 실제 토큰 대신 연속적인 벡터가 전달된다.

전이 어댑터는 Mixture-of-Experts(MoE) 구조를 채택하여 입력의 의미론적 앵커 c(x)에 따라 최적의 전문가를 선택한다. [z(k-1) + c(x)와 단계 임베딩 e(k)를 결합] → [Softmax 연산을 통해 전문가별 가중치 π(k) 산출] → [상위 K개의 전문가 출력값을 가중 합산] → [잔차 연결을 통해 최종 수정된 상태 반환] 순으로 계산된다. 이를 통해 입력 데이터의 유형(이미지, 비디오 등)에 맞는 맞춤형 추론 경로를 생성한다.

학습 시에는 'Progressive Explicit-to-Latent Curriculum'을 사용한다. 초기에는 전체 추론 과정을 텍스트로 학습시키다가, 단계적으로 텍스트 부분을 잠재 블록으로 교체해 나간다. 최종적으로는 텍스트 생성 없이 잠재 롤아웃만으로 임베딩을 추출하도록 유도하여 학습의 안정성을 확보한다.

MMEB-v2 벤치마크 실험 결과, PLUME은 평균 61.6점을 기록하며 기존의 강력한 CoT 기반 모델인 UME-R1(60.1점)을 앞질렀다. 특히 비디오 검색 분야에서는 UME-R1 대비 +1.9점, 단일 패스 모델인 VLM2Vec-V2 대비 +9.2점이라는 압도적인 성능 향상을 보였다. 이는 연속적인 잠재 상태가 비디오의 동적인 시간 정보를 보존하는 데 유리함을 입증한다.

효율성 측면에서 PLUME은 단 8단계의 잠재 롤아웃만으로 수백 개의 토큰을 생성하는 모델과 대등하거나 더 나은 성능을 냈다. NVIDIA H20 GPU 기준, 샘플당 지연 시간은 UME-R1의 9023ms에서 298ms로 줄어들어 약 30.3배의 속도 향상을 달성했다. 단일 패스 모델(156ms)과 비교해도 약간의 오버헤드만으로 훨씬 높은 정확도를 확보하여 최적의 Pareto 효율을 보여주었다.

Ablation Study를 통해 각 구성 요소의 기여도를 분석한 결과, 점진적 커리큘럼 학습을 제거했을 때 성능이 6.8점 하락하여 가장 큰 영향을 미치는 것으로 나타났다. 또한 MoE 구조의 어댑터 대신 단일 MLP를 사용했을 때도 2.4점의 성능 하락이 발생하여, 입력 데이터에 따른 적응형 추론 경로의 중요성이 확인되었다.

PLUME의 아키텍처는 Qwen2-VL-2B를 백본으로 하며, 여기에 경량화된 routed adapter와 anchor-conditioned router를 추가한 구조이다. 핵심 차별점은 추론 과정을 이산적인 토큰 공간이 아닌 연속적인 잠재 공간으로 옮긴 것이다. 이는 텍스트 생성 시 발생하는 '병목 현상'을 제거하고, 모델이 가진 풍부한 멀티모달 정보를 손실 없이 임베딩에 반영할 수 있게 한다.

수학적으로 잠재 롤아웃은 표준 자기회귀 생성과 동일한 KV 캐시 메커니즘을 공유한다. 각 잠재 단계는 실제 토큰이 위치할 자리를 점유하며, 어텐션 마스크와 위치 인코딩을 그대로 활용하여 백본 모델의 사전 학습된 추론 능력을 재사용한다. 전이 어댑터는 공유 전문가(Shared Expert)와 특화 전문가(Specialized Experts)를 혼합하여 일반적인 추론 패턴과 데이터 특화 패턴을 동시에 학습한다.

학습 목적 함수는 Suffix Generation Loss(L_CE), Generative Retrieval Loss(L_gen_NCE), Anchor Retrieval Loss(L_anc_NCE), 그리고 MoE의 부하 균형을 위한 Balance Loss(L_bal)의 가중 합으로 정의된다. 특히 앵커 임베딩은 학습 초기 단계에서 보조적인 그래디언트를 제공하여 잠재 롤아웃이 수렴하기 전까지 학습을 안정화하는 역할을 수행하며, 추론 시에는 제거되어 효율성을 높인다.

PLUME은 전반적인 성능 향상에도 불구하고 이미지 기반 질의응답(Image QA) 태스크, 특히 지식 집약적인 벤치마크(ChartQA, OK-VQA 등)에서는 여전히 명시적 CoT 모델에 비해 약세를 보인다. 이는 잠재 롤아웃이 검색 지향적인 표현 압축에는 유리하지만, 매우 세밀한 텍스트 정보나 명시적인 논리 구조를 유지해야 하는 작업에는 한계가 있을 수 있음을 시사한다.