가볍게 관찰하고 깊게 사고하라: 멀티모달 Chain-of-Thought(CoT) 추론의 가능성과 한계

Chain-of-Thought(CoT)는 복잡한 추론을 위해 널리 쓰이는 기법이나, 멀티모달 입력을 다룰 때 일관된 성능 향상을 보이지 않는다. 본문은 CoT가 수학·과학·다중 이미지 추론에서 유의미한 이득을 주는 반면 시각적 정합이나 객체 수세기 등 감지 중심 과제에서는 성능 저하를 초래하고, 이유로 시각적 반성(visual reflection)의 약화를 확인했다.

출발점과 기존 한계: CoT는 텍스트 기반 LLM에서 중간 단계 출력을 통해 복잡한 다단계 문제를 해결하는 데 효과를 보였다. 멀티모달 환경에서는 이미지 임베딩과 텍스트 토큰 간의 교차어텐션이 필요하며, CoT가 길어질수록 모델은 더 많은 토큰과 추론 상태를 관리해야 한다. 이때 어텐션이 텍스트(추론 토큰)에 치우치면 이미지 정보가 점진적으로 무시되어 시각적 추론 성능이 떨어진다.

해결 원리: 본문은 멀티모달 CoT를 직접 비교·분석해 어느 과제에서 CoT가 유리한지 규명했다. 실험은 CoT 프롬프트(p_c)로 긴 중간 추론(r)과 최종 답(a)을 생성하게 하는 방식과, 직접 답변(p_d)만 생성하게 하는 방식을 대비했다. 또한 문제를 visual/textual probe로 분해해 각 중간 단계의 정확도를 측정하고, CoT 토큰을 10구간으로 나눠 visual reflection(이미지 재검토 언어 표현)과 verbal reflection(추론 재검토 언어 표현)의 시간적 분포를 분석했다.

달라지는 점: 분석 결과 CoT는 수학적·과학적·다중 이미지 추론에서 평균적으로 향상을 보였다(예: mathematical +6.1%, scientific +2.9%, multi-image +4.9%). 반면 perception 중심 과제에서는 성능 하락이 관찰됐다(visual grounding −4.6%, knowledge-based VQA −3.3%, object counting −4.8%). 또한 visual probe 성능이 전체 과제 성능과 더 강한 상관관계를 보여, 멀티모달 CoT의 병목이 시각적 추론임이 확인됐다.

전체 접근 방식과 실험 설계: 12개 멀티모달 과제를 perception/ reasoning으로 분류하고, 14개 비추론 모델과 8개 추론 모델에서 CoT(p_c)와 direct answer(p_d) 성능을 비교했다. CoT 프롬프트는 ‘Please first think about the reasoning process as an internal monologue and then provide the final answer.’ 같은 문구를 사용했고, direct answer는 ‘Please generate the answer directly.’를 사용했다.

프로브 설계 및 검증: 각 문제에서 중간 단계들을 visual probe와 textual probe로 분리해 o4-mini로 예제들을 구성하고, GPT-4.1과 수동 검증으로 프로브의 정확도(수학 프로브 93.0%, 논리 프로브 88.5%)를 확인했다. 모델들은 이 프로브에 대해 별도 평가를 수행해 시각·텍스트 중간 단계 정확도 간 차이를 측정했다.

내부 행동·어텐션 분석: CoT 텍스트를 토큰 기준으로 10등분해 각 세그먼트에서 visual reflection·verbal reflection 빈도를 GPT-4.1로 주석화했다. 어텐션 분석은 Kimi-VL-A3B-Thinking의 교차어텐션을 시각화해 CoT 생성 중 시각 토큰에 대한 주의가 감소하는지를 확인했다.

결측 실험: 이미지의 핵심 시각 정보를 모자이크로 가려 모델의 반응 변화를 관찰했다. 모자이크 상황에서 visual·verbal reflection이 증가했으나 적절한 abstention(응답 거부)은 드물어 시각적 반성이 얕음을 검증했다.

메인 벤치마크 결과: CoT는 과제별로 이득과 손실이 혼재했다. 수치로는 mathematical +6.1%, scientific +2.9%, multi-image +4.9% 개선이 관찰된 반면 visual grounding −4.6%, knowledge-based VQA −3.3%, object counting −4.8% 성능 저하가 관찰됐다(원문 Figure 2). 또한 오픈소스 reasoning 모델들은 평균적으로 제한적 개선을 보인 반면, 상용 모델인 Gemini-2.0-Flash-Thinking은 알고리즘적 추론에서 +24.7% 같은 큰 이득을 기록했다.

프로브·상관관계 결과: visual probe는 textual probe 대비 평균 약 20% 낮은 성능을 보였고, 원본 과제 성능과의 Pearson 상관계수는 visual probe 쪽이 더 높아 시각적 추론이 전체 성능을 더 강하게 좌우했다(원문 Figure 6).

반성 행동 및 어텐션 분석: CoT를 10구간으로 나눈 분석에서 reasoning 모델은 verbal reflection이 중간에 증가·감소하는 패턴을 보였고, visual reflection은 단계가 지날수록 감소했다(‘Look Light, Think Heavy’). 교차어텐션 시각화에서는 CoT 생성 중 텍스트 토큰에 대한 어텐션 비중이 증가하고 시각 토큰에 대한 가중치가 감소하는 편향이 관찰됐다.

추가 실험: 이미지의 핵심 정보가 가려진 상황에서 모델은 visual·verbal reflection을 더 많이 생성했으나 적절히 응답을 거부(abstain)하지 못해 시각적 반성은 얕은 수준임이 확인됐다.

전체 아키텍처 및 실험 대상: 논문은 새로운 모델 아키텍처를 제시하지 않고, 기존 MLLM(멀티모달 LLM)들의 CoT 동작 양상을 실험적으로 분석했다. 평가에 사용된 모델에는 Qwen2.5-VL, Gemma-3, GPT-4.1 계열 등 비추론·추론 변형 모델이 포함됐다.

코어 메커니즘 분석: CoT 프롬프트는 긴 중간 추론(r)과 최종 답(a)을 생성하도록 설계됐다(r,a = M(I,p_c,q)). CoT 생성 중 토큰 시퀀스를 10등분해 visual reflection·verbal reflection을 주석화했고, 교차어텐션 맵을 시각화해 시각 토큰에 대한 어텐션 감소를 확인했다. 어텐션 분석은 현재 토큰과 이전 토큰 간의 가중치 행렬을 시각적으로 평가하는 방식으로 진행됐다.

프로브·검증 절차: visual/textual probe는 o4-mini로 생성한 샘플을 GPT-4.1과 수동 검증으로 품질을 확인(수학 프로브 정확도 93.0%, 논리 프로브 88.5%)한 뒤 모델에 적용했다. 모델 성능과 프로브 정확도의 상관관계를 Pearson r로 계산해 시각 프로브 쪽의 상관도가 더 높음을 확인했다.

결측 실험 및 도구 사용 사례: 핵심 시각 정보 모자이크 실험에서 모델은 반성 언어를 더 많이 생성했으나 응답 거부는 드물어 시각적 반성이 기능적으로 취약함이 드러났다. 논문은 외부 시각 도구(크롭·줌·비전 도구)를 CoT에 통합하는 방향을 잠재적 해결책으로 논의했다.

논문이 언급한 제한점은 두 가지다. 첫째, 계산 자원 제한으로 과제당 1–3개 데이터셋, 총 14개 비추론·8개 추론 모델만 평가해 멀티모달 과제 전체의 다양성을 완전하게 대표하지 못할 수 있다. 둘째, 일부 실험에서 강력한 모델이라도 시각 도구 사용보다 텍스트 도구(계산기 등)를 선호하는 경향을 보여, 제안한 외부 도구 기반 해결책의 범용성은 검증이 필요하다.