비대칭 상호 변분 학습을 통한 다중모달 연속 추론

이 논문은 다중모달 대형 언어 모델이 텍스트 토큰 공간으로 인해 발생하는 표현 병목을 연속 잠재 공간에서 해소하는 방법을 다룬다. 학습 시 posterior가 정답을 이용해 생성하는 답안 누수(answer leakage)가 inference-time prior를 오염시키는 문제를 수학적으로 규정하고 이를 완화하는 실용적 해법을 제시했다. 제안된 방법은 복잡한 시각적 추론 벤치마크에서 유의미한 성능 향상을 보였으며 연속 잠재 추론을 실제 MLLM에 적용할 때의 핵심 장애를 해결했다.

기존 Multimodal Large Language Model은 중간 추론을 자연어 토큰으로 표현하기 때문에 텍스트 어휘의 제약으로 시각적·공간적 세부를 잃는 언어-공간 병목(language-space bottleneck)이 발생한다. 이 논문은 중간 계산을 연속 벡터 계열로 두어 시각적 특성과 추론 논리를 고차원 연속 공간에서 직접 표현하면 이러한 손실을 줄일 수 있다는 출발점을 둔다. 연속 잠재는 입력 이미지의 퍼셉션을 유지하면서 복잡한 다단계 추론을 수행할 수 있는 표현력을 제공한다.

논문은 latent-variable 모델링 관점에서 접근하여 입력 x와 정답 y 사이의 조건부 로그우도 log p_theta(y|x)를 연속 잠재 Z에 대해 주변화함으로써 수식화했다. 계산 불가능한 적분을 변분 추론으로 우회하여 타깃에 접근 가능한 posterior q_phi(Z|x,y)와 추론 시만 의존하는 prior p_theta(Z|x)를 도입했다. 표준 ELBO는 posterior가 답안을 이용해 구성한 latents를 prior가 모방하도록 강제하므로 train–inference 불일치가 발생한다.

제안된 AMVL은 BLINK 벤치마크 평균을 +10.83 향상시키며 Jigsaw 같은 topology 중심 과제에서 최대 +32.00의 개선을 기록했다. 고해상도 지표인 V*, HRBench4K, HRBench8K에서도 평균 성능이 유의하게 상승하여 미세한 공간 표현과 구조적 추론 모두에서 이득이 확인되었다. Ablation 실험은 Forward KL 단독 혹은 Reverse KL 단독으로는 한계가 있으며 두 항을 결합한 전체 목적함수가 최상의 성능과 잠재 공간의 안정성을 제공함을 보였다.

아키텍처는 입력 시퀀스에 k개의 placeholder를 삽입하고 해당 위치의 최종-layer hidden states H에서 μ와 log σ²를 예측하는 경량 출력망을 사용한다. 이 출력망은 RMSNorm과 SwiGLU를 거친 뒤 W_out으로 투사하여 μ, log σ²를 얻고, diagonal Gaussian 가정으로 p_theta(Z|x)와 q_phi(Z|x,y)를 파라미터화한다. 샘플링은 reparameterization trick Z = μ + ε ⊙ σ를 사용하며 샘플된 Z는 latent injector로 숨겨진 차원 D로 되투사되어 디코더를 조건화한다.

논문은 Reverse KL 항의 도입이 초기 학습 단계에서 prior가 약할 경우 과도한 제약을 초래할 수 있어 β와 γ의 스케줄링이 필요함을 명시했다. 잠재 슬롯 수 k와 차원 d에 대해 과도한 확장(k=16, d=768 등)이 성능 저하로 이어지는 관찰을 보고하여 적절한 용량 설계가 요구된다고 밝혔다. 또한 본 구현은 vision encoder를 고정한 설정에서 평가되었으며 encoder 전반을 포함한 다른 구성에서는 추가적인 검증이 필요할 수 있다고 언급되었다.