Insight-V++: 멀티모달 대형 언어 모델을 활용한 고도화된 롱체인 시각적 추론을 향하여

기존 멀티모달 모델은 복잡한 시각적 추론 데이터의 부족으로 인해 단계별 문제 해결 능력이 떨어지는 한계가 있었다. 이 논문은 인간의 개입 없이 고품질 추론 데이터를 생성하고, 추론과 요약을 분리한 멀티 에이전트 구조 및 새로운 강화학습 알고리즘을 통해 이미지와 비디오 영역 모두에서 추론 성능을 획기적으로 개선했다.

왜 중요한가

핵심 기여

자율적 롱체인 시각적 추론 데이터 생성 파이프라인

이미지와 비디오 도메인 모두에서 인간의 개입 없이 구조화된 복잡한 추론 경로를 생성하고 다각도로 평가하여 고품질 데이터를 확보하는 확장 가능한 파이프라인을 구축했다.

추론과 요약을 분리한 듀얼 에이전트 아키텍처

상세한 분석 체인을 생성하는 Reasoning Agent와 이를 비판적으로 평가하고 최종 답안을 도출하는 Summary Agent로 역할을 분리하여 추론의 정확도와 견고함을 높였다.

시공간 추론 최적화를 위한 ST-GRPO 및 J-GRPO 알고리즘

비디오 데이터의 시공간적 일관성을 유지하기 위한 ST-GRPO와 요약 에이전트의 판단력을 강화하는 J-GRPO 강화학습 알고리즘을 도입하여 성능을 최적화했다.

폐쇄 루프 자가 진화(Self-Evolving) 학습 전략

요약 에이전트의 피드백을 통해 추론 경로를 반복적으로 수정하고 정제하여 시스템이 스스로 성능을 높이는 연속적인 학습 루프를 구현했다.

핵심 아이디어 이해하기

기존 MLLM은 Chain-of-Thought(CoT)를 적용하더라도 시각적 정보를 논리적 단계로 분해하여 처리하는 능력이 부족했다. 이는 주로 고품질의 시각적 추론 데이터가 부족하고, 단일 모델이 복잡한 추론과 최종 답변 생성을 동시에 수행하면서 발생하는 오류 누적 문제 때문이다.

Insight-V++는 이를 해결하기 위해 '추론'과 '요약'을 별도의 에이전트로 분리했다. Reasoning Agent는 시각적 단서를 바탕으로 세밀한 사고 과정을 생성하고, Summary Agent는 이 과정의 논리적 결함을 찾아내어 최종 결론을 도출한다. 이는 딥러닝의 Actor-Critic 구조와 유사하게, 한 쪽은 행동(추론)을 하고 다른 쪽은 이를 평가(요약/검증)함으로써 전체적인 신뢰도를 높이는 원리다.

특히 비디오와 같은 동적 데이터 처리를 위해 Group Relative Policy Optimization(GRPO)을 변형한 ST-GRPO를 도입했다. 이는 비디오 프레임 간의 시공간적 관계를 보상 함수에 반영하여 모델이 시간에 따른 객체의 변화를 정확히 추적하도록 유도한다. 결과적으로 Qwen2.5-VL 기반 모델에서 비디오 추론 벤치마크 평균 6.9% 향상이라는 성과를 거두었다.

방법론

데이터 생성 및 평가 파이프라인은 MLLM을 활용해 JSON 형식의 단계별 추론 과정을 생성하고, 강력한 LLM(Qwen2 등)을 통해 정답 여부를 필터링한 뒤, 상위 모델(Qwen2-VL-72B 등)로 추론 경로의 정확성과 상세함을 1~100점으로 점수화하여 고품질 데이터셋을 구축한다.

ST-GRPO(Spatial-Temporal GRPO)는 비디오 추론을 위해 기존 GRPO에 시공간적 보상을 추가했다. [예측된 시공간 영역 tp와 실제 영역 tg의 교집합/합집합(IoU)을 계산] → [이 값을 보상 Rtask로 사용] → [모델이 객체의 위치와 움직임을 정확히 일치시키도록 학습] → [비디오 내 시공간적 논리 구조 강화] 과정을 거친다.

J-GRPO(Judgement GRPO)는 요약 에이전트의 판단력을 높이기 위해 설계되었다. [추론 경로의 품질 평가(Rjudge)와 최종 답변 정확도(Ranswer)를 입력으로] → [가중치 α를 적용한 복합 보상 R = 0.9 * (α * Rjudge + (1-α) * Ranswer) + 0.1 * Rformat을 계산] → [에이전트가 추론의 결함을 식별하고 올바른 답을 선택하도록 최적화]하는 방식이다.

자가 진화(Self-Evolving) 루프는 학습된 요약 에이전트가 추론 에이전트의 결과물에 피드백을 제공하면, 추론 에이전트는 이를 바탕으로 경로를 수정한다. 이 과정을 최대 3회 반복하여 생성된 최상급 데이터를 다시 학습에 활용함으로써 모델이 스스로 성능을 개선하는 폐쇄 루프를 형성한다.

주요 결과

LLaVA-NeXT-LLaMA3 8B 모델에 적용 시 6개 이미지 추론 벤치마크 평균 8.1% 성능 향상을 기록했다. 특히 Qwen2.5-VL 7B 기반의 Insight-V++는 MMMU에서 64.8%, MathVista에서 77.6%를 달성하며 기존 SOTA 모델들을 능가했다.

비디오 추론 성능에서는 VideoMME, VideoMMMU 등 6개 비디오 벤치마크에서 평균 6.9%의 향상을 보였다. 특히 전문 지식이 필요한 VideoMMMU에서 10.2%의 큰 폭의 개선을 이루어 복잡한 시각적 맥락 이해 능력을 입증했다.

Ablation study를 통해 추론과 요약의 분리가 단일 모델 학습보다 효과적임을 확인했다. 또한 데이터 규모가 커질수록(50K에서 200K까지) 추론 에이전트의 성능이 지속적으로 향상되는 데이터 스케일링 법칙을 확인했다.

기술 상세

아키텍처는 Reasoning Agent와 Summary Agent라는 두 개의 독립적인 MLLM으로 구성된다. Reasoning Agent는 시각적 토큰을 입력받아 상세한 사고 과정을 텍스트로 출력하며, Summary Agent는 이 사고 과정과 원본 시각 정보를 통합하여 최종 답변을 생성한다.

강화학습 단계에서는 On-policy 방식인 GRPO를 채택하여 DPO의 오프폴리시(off-policy) 특성으로 인한 불안정성을 해결했다. GRPO는 별도의 Critic 모델 없이 그룹 내 상대적 보상을 통해 정책을 업데이트하므로 학습 효율이 높다.

ST-GRPO는 'Visual Jigsaw' 개념을 도입하여 비디오 클립의 순서를 맞추는 태스크를 보상에 포함시켰다. 이는 모델이 프레임 간의 인과 관계와 시간적 순서를 물리적으로 이해하도록 강제하는 효과가 있다.

J-GRPO는 커리큘럼 학습 전략을 사용하여, 초기에는 고품질 추론 경로를 통해 결함 식별에 집중하게 하고, 후기에는 저품질 경로를 섞어 모델의 복원력(robustness)을 강화한다.

자가 진화 메커니즘은 요약 에이전트의 피드백을 조건으로 추론 에이전트가 결과물을 정제하는 협력적 상호작용을 통해 고품질의 합성 데이터를 생성하며, 이를 통해 데이터 부족 문제를 해결한다.

실무 활용

복잡한 시각적 데이터(도표, 수학 문제, 긴 영상)를 분석해야 하는 서비스에서 높은 정확도의 논리적 답변을 제공하는 데 활용 가능하다. 특히 인간의 개입 없이 데이터를 생성하고 모델을 개선할 수 있어 비용 효율적인 MLLM 고도화가 가능하다.

CCTV나 블랙박스 영상에서 복잡한 사고 경위 및 인과 관계 분석
수학, 과학 등 시각적 자료가 포함된 교육용 문제 풀이 에이전트
차트, 그래프가 포함된 복잡한 금융/기술 보고서 자동 분석 및 요약
자율 주행 시스템의 시공간적 상황 판단 및 경로 계획 보조

코드 공개 여부: 미확인

키워드

MLLM(멀티모달 대형 언어 모델)Visual Reasoning(시각적 추론)Multi-Agent(멀티 에이전트)GRPO(그룹 상대 정책 최적화)Spatial-Temporal Reasoning(시공간 추론)Self-Evolving(자가 진화)

용어 해설

사고의 사슬(Chain-of-Thought): — 모델이 복잡한 문제를 해결할 때 중간 단계의 추론 과정을 순차적으로 생성하도록 유도하는 기법이다. 이를 통해 결과 도출 과정을 투명하게 만들고 논리적 오류를 줄여 복잡한 추론 성능을 높이는 역할을 한다.
그룹 상대 정책 최적화(GRPO): — 별도의 비판(Critic) 모델 없이 동일한 질문에 대한 여러 출력값의 상대적 보상을 비교하여 정책을 업데이트하는 강화학습 알고리즘이다. 계산 효율성이 높고 학습이 안정적이며 DeepSeek-R1 등 최신 모델에서 널리 사용된다.
시공간 추론(Spatial-Temporal Reasoning): — 이미지 내 객체의 위치 관계(공간)와 비디오 내 시간에 따른 변화(시간)를 동시에 파악하여 논리적으로 분석하는 능력이다. 비디오 이해와 자율 주행 등 동적인 환경 분석에 필수적인 기술이다.
직접 선호도 최적화(DPO): — 보상 모델을 별도로 학습시키지 않고 사람이 선호하는 답변 쌍을 직접 사용하여 모델을 정렬하는 기법이다. RLHF보다 구조가 단순하여 효율적이지만, 데이터 분포 변화에 민감할 수 있다는 특징이 있다.

Insight-V++: 멀티모달 대형 언어 모델을 활용한 고도화된 롱체인 시각적 추론을 향하여

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

VBVR-Pro로 확장하는 검증 가능한 네이티브 시각 추론

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

VBVR-Pro로 확장하는 검증 가능한 네이티브 시각 추론