MM-CondChain: 시각적 근거 기반 심층 조합 추론을 위한 프로그래밍 검증 벤치마크

기존 MLLM 벤치마크는 단순한 시각 질문 답변에 치중되어 있어, GUI 탐색과 같이 여러 단계의 시각적 조건 확인이 필요한 복잡한 워크플로우 수행 능력을 평가하기 어렵다. 이 논문은 프로그래밍 방식으로 검증 가능한 다층 구조의 추론 체인을 도입하여, 모델이 미세한 시각적 차이를 식별하고 논리적 경로를 정확히 따르는지 엄격하게 측정한다.

기존 MLLM은 이미지 내 객체를 인식하거나 간단한 관계를 파악하는 데 능숙하지만, 'A가 빨간색이고 B가 C의 왼쪽에 있다면 D를 수행하라'와 같은 조건부 워크플로우에서는 한계를 보인다. 이는 모델이 시각적 증거를 논리적 단계와 결합하여 긴 추론 체인을 유지하는 능력이 부족하기 때문이다.

MM-CondChain은 이를 해결하기 위해 VPIR이라는 프로그래밍 언어 형태의 중간 단계를 도입한다. 모델이 직접 자연어를 생성하게 하는 대신, 먼저 엄격한 논리 규칙(예: colors 리스트의 길이가 2 이상인지 확인)을 생성하고 이를 실제 이미지 데이터와 대조하여 실행 결과가 참인지 거짓인지 기계적으로 확인한다.

이 방식은 '하드 네거티브' 생성을 가능하게 한다. 추론 체인의 여러 단계 중 단 하나의 조건만 미세하게 변경하여(예: '빨간색'을 '분홍색'으로), 모델이 단순히 문맥을 때려 맞추는 것이 아니라 각 단계의 시각적 조건을 정확히 검증해야만 정답에 도달할 수 있도록 설계했다.

전체 파이프라인은 Planner가 각 단계에서 추론을 확장할지 종료할지 결정하며 시작된다. Planner는 이전 단계의 이력을 바탕으로 새로운 시각적 대상과 관계 전략(Deepening 또는 Transition)을 선택하여 추론의 깊이를 더한다.

핵심 메커니즘인 VPIR 생성 단계에서는 추출된 구조화된 사실(JSON 형태)을 입력으로 받아 실행 가능한 파이썬 술어 쌍(참인 논리와 거짓인 논리)을 생성한다. [추출된 JSON 속성 값들을 입력으로] → [논리 연산자(and, or, not)와 비교 연산자를 통해 연산을 수행해] → [0(거짓) 또는 1(참)의 결과를 얻고] → [이 값이 해당 시각적 조건의 실제 성립 여부를 의미]하게 된다.

마지막으로 Translator가 검증된 VPIR 논리를 자연어로 변환하고, Composer가 이를 결합하여 최종적인 'If-else' 구조의 지시문을 완성한다. 이 과정에서 'Subject De-leakage' 기법을 적용하여 주어 설명에 정답에 대한 힌트가 포함되지 않도록 텍스트를 정제한다.

10종 이상의 최신 MLLM을 대상으로 평가한 결과, 가장 우수한 성능을 보인 Gemini-3-Pro조차 평균 Path F1 점수 53.33점에 머물렀다. 이는 모델들이 복잡한 다층 시각 추론에서 여전히 큰 어려움을 겪고 있음을 보여준다.

True-path(모든 조건 충족)와 False-path(중간에 조건 불충족) 성능 차이가 극명하게 나타났다. GPT-4o-1120의 경우 자연 이미지 도메인에서 True-path 정확도는 83.92%였으나, False-path에서는 12.81%로 급락하여 모델들이 조건이 항상 충족된다고 가정하는 편향(Bias)이 있음을 확인했다.

추론 깊이(D=2에서 D=6)가 깊어질수록 성능이 약 30% 상대적으로 하락했으며, 술어의 복잡도(논리 연산자 및 속성 키 개수 증가)가 높아질 때도 28~36%의 성능 저하가 관찰되었다. 도메인별로는 GUI 궤적 데이터셋이 가장 낮은 성능을 기록하여 멀티 프레임 추론의 난이도를 입증했다.

MM-CondChain 아키텍처는 논리적 구성과 언어 렌더링을 완전히 분리한 것이 특징이다. VPIR은 len, set, all, any 등 화이트리스트된 연산자만을 허용하는 샌드박스 환경에서 실행되어 결정론적인(Deterministic) 평가를 보장한다.

데이터 생성 시 'Near-isomorphic' 설계를 채택하여, 참인 경로와 거짓인 경로의 지시문이 텍스트상으로는 거의 동일하지만 단 하나의 미세한 시각적 조건(Predicate)만 다르도록 구성했다. 이는 모델이 텍스트 패턴 매칭으로 문제를 푸는 것을 방지한다.

Planner는 MLLM 기반 정책과 하드코딩된 규칙을 결합한 하이브리드 깊이 제어 방식을 사용한다. 반복적인 검증 실패 시 롤백(Rollback) 기능을 통해 논리적 모순이 없는 고품질의 추론 체인만을 최종 데이터셋에 포함시킨다.

GUI 도메인에서 멀티 프레임 궤적을 다룰 때, 베스트 모델의 성능이 40.19 F1에 불과할 정도로 낮아 현재 모델들의 한계를 명확히 보여주지만, 동시에 벤치마크 자체가 매우 도전적임을 시사한다.