상상력은 시각적 추론을 돕지만, 아직 잠재 공간에서는 아니다

잠재적 시각 추론(Latent visual reasoning)은 멀티모달 대형 언어 모델(Multimodal Large Language Models, MLLMs)의 은닉 상태(hidden states)를 통해 숙고함으로써 인간의 상상 과정을 모방하는 것을 목표로 합니다. 시각적 추론을 위한 유망한 패러다임으로 인식되고 있지만, 그 효과를 주도하는 근본적인 메커니즘은 여전히 불분명합니다. 본 연구는 그 효능의 진정한 원천을 밝히기 위해 인과 중재 분석(Causal Mediation Analysis)을 사용하여 잠재 추론의 타당성을 조사합니다. 우리는 이 과정을 입력(input)을 처치(treatment)로, 잠재 토큰(latent tokens)을 매개체(mediator)로, 최종 답변(final answer)을 결과(outcome)로 하는 인과 사슬로 모델링합니다. 연구 결과 두 가지 결정적인 단절을 발견했습니다. (a) 입력-잠재 단절(Input-Latent Disconnect): 입력에 대한 급격한 섭동(perturbations)이 잠재 토큰에 미미한 변화만을 초래하며, 이는 잠재 토큰이 입력 시퀀스에 효과적으로 주의를 기울이지 않음을 시사합니다. (b) 잠재-답변 단절(Latent-Answer Disconnect): 잠재 토큰에 대한 섭동이 최종 답변에 최소한의 영향만을 미치며, 이는 잠재 토큰이 결과에 미치는 인과적 효과가 제한적임을 나타냅니다. 또한, 광범위한 프로빙 분석(probing analysis)을 통해 잠재 토큰이 제한된 시각적 정보를 인코딩하고 높은 유사성을 보인다는 것을 확인했습니다. 결과적으로, 우리는 잠재 추론의 필요성에 의문을 제기하고 모델이 텍스트를 사용하여 명시적으로 상상하도록 가르치는 CapImagine이라는 간단한 대안을 제안합니다. 시각 중심 벤치마크 실험 결과, CapImagine은 복잡한 잠재 공간 기반 베이스라인 모델들을 크게 능가하여 명시적 상상을 통한 시각적 추론의 우수한 잠재력을 입증했습니다.