인식에서 행동으로: 시각적 추론을 위한 대화형 벤치마크

기존의 시각 언어 모델(VLM) 평가는 정적인 이미지에 답하는 수준에 머물러 있어, 실제 물리적 제약이 있는 환경에서의 문제 해결 능력을 측정하기 어려웠다. 이 논문은 3D 물리 엔진 기반의 대화형 환경인 CHAIN을 통해 모델이 복잡한 구조를 이해하고 순차적인 행동 계획을 세울 수 있는지 엄격하게 평가한다.

기존 VLM은 정적 이미지에서 객체를 식별하는 Embedding과 Attention 메커니즘에 의존한다. 하지만 이는 "이 퍼즐 조각을 빼려면 어떤 순서로 움직여야 하는가?"와 같은 인과적 추론에는 한계가 있다. 단순히 시각적 특징을 추출하는 것만으로는 보이지 않는 기하학적 맞물림이나 물리적 지지 관계를 파악하기 어렵기 때문이다.

CHAIN은 모델이 환경과 상호작용하며 피드백을 받는 Closed-loop 방식을 채택한다. 모델은 행동을 선택하고 그 결과로 변한 환경을 다시 관찰하며 계획을 수정해야 한다. 이는 단순히 정답을 맞히는 것을 넘어, 물리적 제약 조건이 행동 가능 범위를 어떻게 제한하는지(Action Space Constrain)를 이해해야 함을 의미한다.

실험 결과, 최신 모델들도 초기 단계의 잘못된 선택이 나중에 어떤 제약을 불러올지 예측하는 데 어려움을 겪는다. 예를 들어, 쌓기 과제에서 초기에 공간을 비효율적으로 사용하면 나중에 조각을 넣을 수 없게 되는 '막다른 길'에 빠지는데, 이는 모델이 공간적 인과 관계를 충분히 학습하지 못했음을 시사한다.

CHAIN은 Unity와 3D Python 엔진을 사용하여 구축된 대화형 플랫폼이다. 퍼즐 과제는 정밀한 운동학적 제어가 필요한 Unity에서, 쌓기 과제는 효율적인 물리 연산이 가능한 Python 엔진에서 실행된다. 모델은 각 단계에서 시각적 관찰값과 이전 행동 이력을 입력받아 다음 행동(Pick, Rotate, Place 등)을 결정한다.

과제 생성 파이프라인은 3단계로 구성된다. 먼저 Puzzlemaster 등에서 인과적 의존성이 높은 퍼즐을 수집하고, 이를 시뮬레이션 가능한 환경으로 구축한 뒤, 인간 전문가의 풀이 시간을 기준으로 난이도(Easy, Medium, Hard)를 분류한다. 쌓기 과제의 경우 알고리즘을 통해 다양한 난이도의 공간 채우기 문제를 자동으로 생성한다.

평가 지표로 Pass@1(성공률)과 함께 최적 경로 대비 추가 행동 수를 측정하는 Dist2Opt를 사용한다. [실제 수행 단계 수 - 최적 단계 수]를 계산하여 0보다 큰 값이 나오면 불필요한 행동이 포함되었음을 의미하며, 이 숫자가 작을수록 모델의 계획 효율성이 높음을 나타낸다. 또한 Solved/USD 지표를 통해 성공적인 과제 해결을 위해 소모된 비용 대비 가성비를 분석한다.

폐쇄형 모델 중 GPT-5.2가 전체 성공률 22.9%로 가장 높은 성능을 보였으나, 여전히 복잡한 3D 퍼즐(Puzzle) 과제에서는 3.1%라는 매우 낮은 성공률을 기록했다. 이는 최신 VLM조차 정교하게 맞물린 물리적 구조를 해석하고 분해 순서를 추론하는 데 심각한 한계가 있음을 보여준다.

오픈소스 모델 중에서는 Kimi-k2.5가 13.8%의 성공률로 가장 우수했다. 하지만 대부분의 모델이 난이도가 높아질수록 성능이 급격히 하락했으며, 특히 Stacking-Hard 과제에서는 최고 모델도 6.3%의 성공률에 그쳤다. 이는 장기적인 공간 계획 능력이 모델의 주요 병목 구간임을 시사한다.

비디오 생성 모델(Sora 2, Wan 2.6 등)을 대상으로 한 실험에서도 물리적 법칙 위배 현상이 빈번하게 발생했다. 모델들은 퍼즐 조각이 서로 통과하거나 갑자기 사라지는 등 '환각(Hallucination)' 현상을 보였으며, 복잡한 구조적 제약을 준수하는 일관된 영상을 생성하지 못했다.

CHAIN은 VLM의 능력을 '수동적 인식'에서 '능동적 문제 해결'로 확장하기 위해 설계된 Closed-loop 프레임워크이다. 모델은 매 턴마다 시각적 피드백을 기반으로 상태를 업데이트하며, 이는 정적인 VQA와 달리 상태 전이(State Transition)에 대한 이해를 요구한다.

퍼즐 과제는 Mortise-and-tenon(장부 맞춤) 구조를 활용하여 비직관적인 이동 경로와 숨겨진 기하학적 제약을 포함한다. 이를 해결하기 위해 모델은 단순히 보이는 면을 넘어 객체 간의 맞물림 의존성(Causal Dependency)을 파악해야 하며, 이는 고차원적인 공간 추론을 필요로 한다.

Stacking 과제는 3D 폴리큐브(Polycube) 생성 알고리즘을 통해 난이도를 조절한다. Exact-cover 문제로 정의된 이 과제는 DLX(Dancing Links) 알고리즘을 사용하여 해의 존재 여부를 검증하며, 모델이 초기 선택이 전체 공간 가용성에 미치는 영향을 예측할 수 있는지 평가한다.

실험 분석 결과, 모델의 실패 원인은 주로 '약한 인식'과 '장기 계획 부재'로 요약된다. 모델은 첫 번째 핵심 조각을 찾지 못해 무작위 시도를 반복하거나(Puzzle), 초기에 쉬운 조각을 먼저 배치했다가 나중에 남은 공간이 파편화되어 실패하는(Stacking) 경향을 보였다.

대화형 환경의 규모가 아직 제한적이며, 특히 정교한 맞물림 퍼즐의 경우 물리적 타당성을 확보하기 위한 수동 모델링 비용이 커서 인스턴스 수를 대폭 늘리는 데 한계가 있다. 또한 현재 평가는 높은 상호작용 비용으로 인해 주로 Pass@1 지표에 집중되어 있다.