MMR-Life: 실생활 장면 통합을 통한 멀티모달 다중 이미지 추론 벤치마크

기존 AI 모델들은 단일 이미지 분석에는 능숙하지만, 여러 장의 실생활 사진을 연결해 상황을 유추하는 데는 여전히 한계를 보입니다. 이 논문은 인간에게는 당연한 '여러 단서를 조합해 결론을 내는 능력'을 평가하는 새로운 기준을 제시하여 차세대 AI의 발전 방향을 예고합니다.

기존 MLLM 평가는 주로 단일 이미지의 내용을 설명하거나 특정 도메인 지식(수학, 과학)을 묻는 데 집중했다. 하지만 실제 인간의 지능은 여러 시각적 단서를 시계열이나 공간적 맥락에서 연결(Multi-image reasoning)하여 보이지 않는 결론을 도출하는 데 강점이 있다. Transformer 기반 모델들이 개별 이미지의 특징 추출(Embedding)에는 뛰어나지만, 여러 이미지 간의 고차원적 관계를 형성하는 데는 여전히 어려움을 겪고 있다.

MMR-Life는 인위적인 퍼즐이나 전문 지식 대신 '냉장고를 왜 열었을까?'(귀추)나 '다음 운전 상황은?'(시간) 같은 일상적인 시나리오를 활용한다. 모델은 여러 이미지에 흩어진 객체들의 상태 변화를 추적하고, 이를 상식(Commonsense)과 결합해 논리적 사슬을 구성해야 한다. 이는 단순한 패턴 매칭을 넘어 시각적 정보의 논리적 통합 능력을 요구한다.

실험 결과, 최신 모델들도 공간 및 시간적 추론에서 특히 취약함을 보였다. 이는 모델이 이미지 간의 물리적 거리나 선후 관계를 추상적인 벡터 공간에서 정확히 재구성하지 못하고 있음을 시사한다. 이 벤치마크는 모델이 단순히 '보는 것'을 넘어 '상황을 이해하고 추론하는' 단계로 나아가기 위한 이정표가 된다.

데이터 수집 파이프라인은 공공 이미지 데이터셋(Kaggle), 웹 자원(eBird), 공개 비디오 소스 등 다양한 경로를 통해 고해상도 실생활 이미지를 확보했다. 수집된 이미지는 인간 활동, 물리 현상, 스포츠 등 15가지 이미지 유형으로 분류되어 현실 세계의 다양성을 반영한다.

질문-답변 생성 단계에서는 자동 생성과 수동 주석을 병행했다. 특히 귀추적 추론처럼 암시적 정보가 필요한 작업은 사람이 직접 질문을 설계하여 데이터의 질을 높였다. 모든 문제는 5지 선다형 객관식으로 구성되었으며, 오답(Negative options) 생성 시 GPT-5-mini 등을 활용해 매력적인 오답을 배치했다.

데이터 품질 관리를 위해 세 단계 필터링을 거쳤다. 먼저 Qwen2.5-VL-7B 등 소형 모델들이 모두 맞히는 쉬운 문제를 제거(Difficulty filtering)하고, 오답의 형식이 정답과 너무 달라 힌트가 되는 경우를 수정(Format filtering)했으며, 최종적으로 저자들이 직접 의미적 모호성을 검토(Quality filtering)했다.

강화학습 분석에 사용된 GRPO(Group Relative Policy Optimization)는 [여러 개의 응답 후보군을 입력으로] -> [보상 모델을 통해 각 응답의 품질을 평가하고 그룹 내 평균 대비 상대적 우위를 계산해] -> [정책 네트워크를 업데이트하는 결과를 얻고] -> [이는 모델이 더 논리적인 추론 경로를 선택하도록 유도하는 의미]를 갖는다.

총 37개의 모델을 평가한 결과, GPT-5가 58.69%로 가장 높은 정확도를 기록했으나 인간의 성능(72.28%)과는 약 14%의 큰 격차를 보였다. 특히 오픈소스 모델들은 대부분 40% 이하의 정확도를 기록하며 무작위 추측(20%)보다 조금 나은 수준에 머물렀다.

추론 유형별 분석에서 모델들은 유추(Analogical), 연역(Deductive), 귀납(Inductive) 추론에서는 비교적 선전했으나, 인과(Causal), 공간(Spatial), 시간(Temporal) 추론에서는 심각한 성능 저하를 보였다. 특히 공간 추론의 최고 정확도는 25.10%에 불과해 인간(79.76%)과 가장 큰 차이를 나타냈다.

사고의 길이(Thinking length) 분석 결과, 유추적 추론은 CoT(Chain-of-Thought)가 길어질수록 성능이 향상되었으나, 귀납적 추론은 오히려 성능이 하락하는 양상을 보였다. 이는 모든 유형의 추론에 긴 사고 과정이 반드시 유리한 것은 아님을 증명한다.

MMR-Life는 2,646개의 질문과 19,108개의 이미지로 구성되며, 질문당 평균 7.22개의 이미지를 입력으로 사용한다. 이는 기존 벤치마크들이 단일 이미지나 소수의 이미지(평균 1~2개)를 다루던 것과 차별화되는 구조적 특징이다.

7가지 추론 유형(Abductive, Analogical, Causal, Deductive, Inductive, Spatial, Temporal)을 정의하고 각 유형에 맞는 21가지 세부 태스크를 설계했다. 예를 들어 공간 추론에서는 카메라 회전각 추정(Camera Rotation Estimation)을, 시간 추론에서는 군중 타임라인 재구성(Crowd Timeline Reconstruction) 등을 포함한다.

모델의 추론 패러다임 분석을 위해 'Thinking' 모델(o4-mini, GPT-5 등)과 'Non-thinking' 모델을 구분하여 비교했다. 강화학습(RL) 기반의 모델들이 특정 데이터셋에는 강하지만 MMR-Life와 같은 일반적인 실생활 시나리오에서는 일반화 능력이 떨어지는 현상을 발견했다.

오류 분석(Error Analysis) 결과, 모델의 실패 원인 중 '추론 오류(Reasoning Error)'가 32%로 가장 높았으며, 특히 인과 관계 역전(Causal inversion)이나 시간적 혼동(Temporal confusion)이 주요 원인으로 지목되었다.

논문은 모델들이 공간 및 시간적 추론에서 극도로 낮은 성능을 보이는 점을 명시하며, 이는 현재의 MLLM 아키텍처가 추상적인 세계 모델(World representation)을 학습하는 데 한계가 있음을 시사한다고 언급했다.