가볍게 관찰하고 깊게 사고하라: 멀티모달 Chain-of-Thought(CoT) 추론의 가능성과 한계

왜 중요한가

Chain-of-Thought(CoT)는 복잡한 추론을 위해 널리 쓰이는 기법이나, 멀티모달 입력을 다룰 때 일관된 성능 향상을 보이지 않는다. 본문은 CoT가 수학·과학·다중 이미지 추론에서 유의미한 이득을 주는 반면 시각적 정합이나 객체 수세기 등 감지 중심 과제에서는 성능 저하를 초래하고, 이유로 시각적 반성(visual reflection)의 약화를 확인했다.

핵심 기여

광범위한 멀티모달 평가 설계 및 비교

12개 멀티모달 과제(Perception: comprehensive/OCR/visual grounding/hallucination/knowledge/object counting, Reasoning: mathematical/scientific/logical/algorithmic/spatial/multi-image)를 대상으로 14개 비추론 모델과 8개 추론 모델에 대해 CoT와 direct answer 성능을 비교했다. CoT의 과제별 상이한 효과성을 체계적으로 측정했다.

시각 vs 텍스트 중간 단계(probe)로 시각적 병목 규명

문제의 중간 단계들을 visual probe(시각 분석 필요)와 textual probe(텍스트만으로 해결 가능)로 분해해 평가했다. 평균적으로 visual probe에서 약 20% 낮은 성능을 보였고, 전체 과제 성능과의 상관관계가 시각 프로브에서 더 높아 시각적 추론이 병목임을 확인했다.

내부 행동·어텐션 분석으로 'Look Light, Think Heavy' 현상 규명

CoT를 10개 동등 세그먼트로 분할해 GPT-4.1로 시각·언어적 반성 빈도를 주석화하고, Kimi-VL-A3B-Thinking 등 모델의 교차어텐션을 시각화했다. 결과는 verbal reflection이 중간에 증가·감소하는 반면 visual reflection은 지속적으로 감소하고, 어텐션은 점진적으로 시각 토큰을 소홀히하는 편향을 보였다.

오픈소스 추론 모델의 한계와 상용 모델의 차이 관찰

오픈소스 멀티모달 reasoning 모델은 평균적으로 제한적 이득을 보인 반면, 상용 모델(Gemini-2.0-Flash-Thinking)은 알고리즘적(reasoning) 과제에서 최대 +24.7% 같은 큰 향상을 보였다. RLVR 중심의 학습이 수학적 문제에 편향된 결과와 연관됐다.

핵심 아이디어 이해하기

출발점과 기존 한계: CoT는 텍스트 기반 LLM에서 중간 단계 출력을 통해 복잡한 다단계 문제를 해결하는 데 효과를 보였다. 멀티모달 환경에서는 이미지 임베딩과 텍스트 토큰 간의 교차어텐션이 필요하며, CoT가 길어질수록 모델은 더 많은 토큰과 추론 상태를 관리해야 한다. 이때 어텐션이 텍스트(추론 토큰)에 치우치면 이미지 정보가 점진적으로 무시되어 시각적 추론 성능이 떨어진다.

해결 원리: 본문은 멀티모달 CoT를 직접 비교·분석해 어느 과제에서 CoT가 유리한지 규명했다. 실험은 CoT 프롬프트(p_c)로 긴 중간 추론(r)과 최종 답(a)을 생성하게 하는 방식과, 직접 답변(p_d)만 생성하게 하는 방식을 대비했다. 또한 문제를 visual/textual probe로 분해해 각 중간 단계의 정확도를 측정하고, CoT 토큰을 10구간으로 나눠 visual reflection(이미지 재검토 언어 표현)과 verbal reflection(추론 재검토 언어 표현)의 시간적 분포를 분석했다.

달라지는 점: 분석 결과 CoT는 수학적·과학적·다중 이미지 추론에서 평균적으로 향상을 보였다(예: mathematical +6.1%, scientific +2.9%, multi-image +4.9%). 반면 perception 중심 과제에서는 성능 하락이 관찰됐다(visual grounding −4.6%, knowledge-based VQA −3.3%, object counting −4.8%). 또한 visual probe 성능이 전체 과제 성능과 더 강한 상관관계를 보여, 멀티모달 CoT의 병목이 시각적 추론임이 확인됐다.

관련 Figure

Chart
해당 Figure는 'Look Light, Think Heavy' 패턴을 명확히 보여준다. reasoning 모델에서는 verbal reflection이 중간에 증가하는 반면 visual reflection은 시간이 지남에 따라 감소해, 모델이 추론 과정에서 이미지 정보를 점차 덜 참조함을 증명한다.
비추론 모델과 추론 모델에서 CoT 진행 단계별 visual reflection과 verbal reflection 비율 변화를 비교한 선그래프이다.

방법론

전체 접근 방식과 실험 설계: 12개 멀티모달 과제를 perception/ reasoning으로 분류하고, 14개 비추론 모델과 8개 추론 모델에서 CoT(p_c)와 direct answer(p_d) 성능을 비교했다. CoT 프롬프트는 ‘Please first think about the reasoning process as an internal monologue and then provide the final answer.’ 같은 문구를 사용했고, direct answer는 ‘Please generate the answer directly.’를 사용했다.

프로브 설계 및 검증: 각 문제에서 중간 단계들을 visual probe와 textual probe로 분리해 o4-mini로 예제들을 구성하고, GPT-4.1과 수동 검증으로 프로브의 정확도(수학 프로브 93.0%, 논리 프로브 88.5%)를 확인했다. 모델들은 이 프로브에 대해 별도 평가를 수행해 시각·텍스트 중간 단계 정확도 간 차이를 측정했다.

내부 행동·어텐션 분석: CoT 텍스트를 토큰 기준으로 10등분해 각 세그먼트에서 visual reflection·verbal reflection 빈도를 GPT-4.1로 주석화했다. 어텐션 분석은 Kimi-VL-A3B-Thinking의 교차어텐션을 시각화해 CoT 생성 중 시각 토큰에 대한 주의가 감소하는지를 확인했다.

결측 실험: 이미지의 핵심 시각 정보를 모자이크로 가려 모델의 반응 변화를 관찰했다. 모자이크 상황에서 visual·verbal reflection이 증가했으나 적절한 abstention(응답 거부)은 드물어 시각적 반성이 얕음을 검증했다.

관련 Figure

Diagram
이 Figure는 논문에서 사용한 프로브의 유형을 직관적으로 제시한다. 시각 프로브는 이미지 해석을 요구하고, 텍스트 프로브는 이미지 해석 후의 수치적·논리적 계산을 요구해 프로브 설계가 시각적 병목 식별에 적합함을 보여준다.
MathVerse와 PuzzleVQA의 예시 이미지를 사용해 visual/textual probe의 예제를 보여주는 Figure이다.

주요 결과

메인 벤치마크 결과: CoT는 과제별로 이득과 손실이 혼재했다. 수치로는 mathematical +6.1%, scientific +2.9%, multi-image +4.9% 개선이 관찰된 반면 visual grounding −4.6%, knowledge-based VQA −3.3%, object counting −4.8% 성능 저하가 관찰됐다(원문 Figure 2). 또한 오픈소스 reasoning 모델들은 평균적으로 제한적 개선을 보인 반면, 상용 모델인 Gemini-2.0-Flash-Thinking은 알고리즘적 추론에서 +24.7% 같은 큰 이득을 기록했다.

프로브·상관관계 결과: visual probe는 textual probe 대비 평균 약 20% 낮은 성능을 보였고, 원본 과제 성능과의 Pearson 상관계수는 visual probe 쪽이 더 높아 시각적 추론이 전체 성능을 더 강하게 좌우했다(원문 Figure 6).

반성 행동 및 어텐션 분석: CoT를 10구간으로 나눈 분석에서 reasoning 모델은 verbal reflection이 중간에 증가·감소하는 패턴을 보였고, visual reflection은 단계가 지날수록 감소했다(‘Look Light, Think Heavy’). 교차어텐션 시각화에서는 CoT 생성 중 텍스트 토큰에 대한 어텐션 비중이 증가하고 시각 토큰에 대한 가중치가 감소하는 편향이 관찰됐다.

추가 실험: 이미지의 핵심 정보가 가려진 상황에서 모델은 visual·verbal reflection을 더 많이 생성했으나 적절히 응답을 거부(abstain)하지 못해 시각적 반성은 얕은 수준임이 확인됐다.

관련 Figure

Chart
이 Figure는 CoT가 과제별로 상이한 영향을 미친다는 핵심 결과를 직관적으로 보여준다. 수학·과학·다중 이미지에서는 양의 개선이, visual grounding·knowledge·object counting 등 감지 중심 과제에서는 음의 변화가 관찰돼 CoT의 선택적 적용 필요성을 뒷받침한다.
레이더 차트로 12개 멀티모달 과제에서 CoT 적용 시 성능 증감(%)을 시각화한 Figure이다.

Chart
이 Figure는 오픈소스 모델들의 평균적 개선폭이 제한적인 반면, 상용 모델(예: Gemini-2.0-Flash-Thinking)은 특정 과제에서 큰 향상을 보였음을 보여준다. 이 결과는 RLVR 기반 학습의 편향성과 상용 모델의 더 폭넓은 성능 우위를 시사한다.
막대그래프로 오픈소스 reasoning 모델과 상용 reasoning 모델의 과제별 성능 향상 폭을 비교한 Figure이다.

Chart
이 Figure는 모델 간 및 과제 간 변이성을 보여주며, 특정 모델이 어떤 과제에서 CoT로 이득을 얻고 손해를 보는지를 상세히 나타낸다. 연구의 결론(과제별 선택적 적용, 모델 규모 의존성)을 보강하는 근거로 활용된다.
세부 과제별로 다양한 모델의 CoT 개선폭을 작은 서브플롯으로 배열한 Figure이다.

기술 상세

전체 아키텍처 및 실험 대상: 논문은 새로운 모델 아키텍처를 제시하지 않고, 기존 MLLM(멀티모달 LLM)들의 CoT 동작 양상을 실험적으로 분석했다. 평가에 사용된 모델에는 Qwen2.5-VL, Gemma-3, GPT-4.1 계열 등 비추론·추론 변형 모델이 포함됐다.

코어 메커니즘 분석: CoT 프롬프트는 긴 중간 추론(r)과 최종 답(a)을 생성하도록 설계됐다(r,a = M(I,p_c,q)). CoT 생성 중 토큰 시퀀스를 10등분해 visual reflection·verbal reflection을 주석화했고, 교차어텐션 맵을 시각화해 시각 토큰에 대한 어텐션 감소를 확인했다. 어텐션 분석은 현재 토큰과 이전 토큰 간의 가중치 행렬을 시각적으로 평가하는 방식으로 진행됐다.

프로브·검증 절차: visual/textual probe는 o4-mini로 생성한 샘플을 GPT-4.1과 수동 검증으로 품질을 확인(수학 프로브 정확도 93.0%, 논리 프로브 88.5%)한 뒤 모델에 적용했다. 모델 성능과 프로브 정확도의 상관관계를 Pearson r로 계산해 시각 프로브 쪽의 상관도가 더 높음을 확인했다.

결측 실험 및 도구 사용 사례: 핵심 시각 정보 모자이크 실험에서 모델은 반성 언어를 더 많이 생성했으나 응답 거부는 드물어 시각적 반성이 기능적으로 취약함이 드러났다. 논문은 외부 시각 도구(크롭·줌·비전 도구)를 CoT에 통합하는 방향을 잠재적 해결책으로 논의했다.

관련 Figure

Chart
이 Figure는 개별 모델 수준에서 CoT의 이득/손해 패턴을 보여주며, 오픈소스 모델들의 제한적 개선과 일부 상용 모델의 강한 개선이 과제마다 어떻게 분포하는지 확인하게 해준다. 모델별 트레이닝/스케일링 전략 차이를 해석하는 데 유용하다.
여러 개의 모델별 서브플롯으로 각 모델의 과제별 CoT 개선폭을 비교한 Figure이다.

한계점

논문이 언급한 제한점은 두 가지다. 첫째, 계산 자원 제한으로 과제당 1–3개 데이터셋, 총 14개 비추론·8개 추론 모델만 평가해 멀티모달 과제 전체의 다양성을 완전하게 대표하지 못할 수 있다. 둘째, 일부 실험에서 강력한 모델이라도 시각 도구 사용보다 텍스트 도구(계산기 등)를 선호하는 경향을 보여, 제안한 외부 도구 기반 해결책의 범용성은 검증이 필요하다.

실무 활용

본 연구 결과는 멀티모달 시스템 설계 시 CoT 사용 여부를 과제 유형에 따라 선택해야 함을 제시한다. 수학·과학·다중 이미지 추론에는 CoT를 적용해 성능 향상을 기대할 수 있으나, 시각적 정합·객체 수세기 같은 감지 중심 과제에는 직접 답변 방식을 유지하는 것이 바람직하다.

수학·과학 문제를 포함한 멀티모달 교육용 도구에 CoT를 적용해 복잡한 단계별 해설과 높은 정답률 확보
다중 이미지 정보를 종합해 추론하는 VQA 시스템에서 CoT를 사용해 이미지별 설명을 병합한 후 고차원 추론 수행
객체 수세기·visual grounding 등 실시간 감지 기반 애플리케이션에서는 CoT를 피하고 direct-answer 파이프라인 유지

코드 공개 여부: 비공개

키워드

Chain-of-Thought(CoT)multimodal reasoning(멀티모달 추론)visual grounding(시각적 정합)object counting(객체 수세기)attention bias(어텐션 편향)visual reflection(시각적 반성)

용어 해설

체인-오브-생각(CoT)(Chain-of-Thought (CoT)): — CoT는 모델이 답안을 직접 생성하는 대신 단계별 추론(중간 사고 과정)을 출력하도록 유도하는 프롬프트 기법이다. 중간 토큰을 통해 추론 과정이 길어지며 복잡한 다단계 문제에서 성능 향상을 도모하지만, 멀티모달 입력에서는 불필요한 연산과 산만함을 야기할 수 있다.
검증된 보상 기반 강화학습(RLVR)(Reinforcement Learning with Verified Rewards (RLVR)): — RLVR는 생성된 CoT와 답안의 품질을 외부 검증으로 평가해 보상을 부여하는 학습 전략이다. 이 방식은 더 긴 CoT와 반성적 행동(reflection)을 유도해 수학적 추론 성능을 끌어올렸으나, 멀티모달 전반으로 일반화되지는 않았다.
시각적 반성(Visual Reflection): — 시각적 반성은 모델이 이미지 해석에 대해 의심·재검토·재해석을 언어적으로 표현하는 행동이다. 멀티스텝 CoT에서 이미지 정보를 지속적으로 재검토해야 정확한 시각기반 추론이 가능하다.
교차 어텐션(Cross-Attention): — 교차 어텐션은 텍스트 토큰이 시각(이미지) 임베딩에 주의를 할당하는 메커니즘이다. CoT 생성 중 교차 어텐션이 시각 토큰에서 텍스트 토큰으로 편향되면 이미지 정보가 점진적으로 무시되어 시각적 반성이 약화된다.
멀티모달 추론 프로브(Multimodal Reasoning Probe): — 프로브는 원문 문제에서 시각적 분석을 필요로 하는 중간 단계(visual probe)와 텍스트만으로 해결 가능한 중간 단계(textual probe)를 분리해 성능 기여도를 측정하는 평가 도구이다. 시각·문자 성능 격차와 상관관계를 분석하는 데 활용됐다.

가볍게 관찰하고 깊게 사고하라: 멀티모달 Chain-of-Thought(CoT) 추론의 가능성과 한계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드