공간 지능 벤치마크: 대형 모델의 공간 추론 능력 평가

대형 언어 모델이 수학과 코딩에서 인간 수준에 도달했음에도 불구하고, 물리적 세계를 이해하고 조작하는 공간 지능은 여전히 미흡함을 보여줍니다. 이 논문은 단순 시각 답변을 넘어 실제 실행 가능한 결과물을 요구하는 새로운 벤치마크를 통해 모델의 논리적 공간 추론 한계를 명확히 정의합니다.

기존의 공간 능력 평가는 주로 이미지 속 물체를 맞히는 시각적 질의응답(VQA) 수준에 머물러 있어, 모델이 실제로 공간의 논리적 구조를 이해하는지 파악하기 어려웠다. Transformer 기반 모델은 텍스트나 이미지의 통계적 패턴 학습에는 능숙하지만, 여러 기하학적 제약 조건을 동시에 만족시켜야 하는 전역적 최적화 문제에서는 취약성을 드러낸다.

이 논문은 모델이 환경의 일관된 내부 표현을 유지하고 이를 바탕으로 행동을 계획하는 '공간 지능'을 측정하고자 한다. 예를 들어, 레고 블록으로 구를 만들 때 각 블록의 위치(국소적)는 맞을 수 있지만, 전체 구조가 무너지지 않게 쌓는 것(전역적)은 별개의 문제이다. 모델이 국소적인 논리에는 강하지만 전체적인 제약 조건을 통합하는 데 실패한다는 점을 'Local-Only' 오류로 정의하며 이를 해결하기 위한 새로운 평가 척도를 제시한다.

결과적으로 공간 지능은 단순히 더 많은 데이터를 학습하거나 추론 시간을 늘린다고 해결되는 문제가 아니며, 물리적 법칙과 기하학적 제약 조건을 내부적으로 모델링할 수 있는 새로운 아키텍처나 학습 방식이 필요함을 시사한다.

SCBench는 세 가지 계층의 과제로 구성된다. 첫째, 공리적 추론(Axiomatic)은 점 집합에서 구조를 유추하는 기초 기하학 과제이다. 둘째, 구성적 합성(Constructive)은 3D 입체의 합집합 계산이나 레고 블록 조립과 같이 전역 제약 조건을 만족하는 객체 생성을 요구한다. 셋째, 계획 수립(Planning)은 지형 평탄화나 유체 시뮬레이션 제어와 같이 시간에 따른 상태 변화를 고려한 행동 시퀀스 생성을 목표로 한다.

평가는 결정론적 검증기(Deterministic Verifier)와 시뮬레이터 기반 평가기를 통해 이루어진다. 모델 출력값 [x, y, z 좌표 또는 행동 코드] → 검증기 입력 → [기하학적 일관성 및 제약 조건 위반 여부 계산] → [0~1 사이의 점수 산출] 과정을 거친다. 특히 복잡한 과제에 대해서는 부분 점수를 부여하여 모델의 근접 성능을 측정한다.

실험에서는 도구 미사용(No-tools) 환경과 Python 인터프리터 및 웹 검색이 허용된 도구 사용(Tools) 환경을 비교한다. 또한 출력 토큰 제한(Token Budget)을 1,024에서 65,536까지 가변적으로 설정하여, 모델이 더 많이 생각할수록(Chain-of-Thought) 성능이 실제로 향상되는지 분석하는 'Reasoning Sweep' 기법을 적용한다.

최신 모델인 GPT-5.2와 Gemini 3 Pro Preview는 전체 과제에서 약 57.6%의 정확도를 기록하며 Claude Sonnet 4.5(34.9%)를 크게 앞섰다. 그러나 모든 모델에서 공리적 추론 > 구성적 합성 > 계획 수립 순으로 성능이 급격히 하락하는 경향을 보여, 복잡한 전역 제약 조건과 장기 계획 수립이 공통적인 난제임을 확인했다.

도구 사용은 구성적 합성 단계에서 성능을 유의미하게 향상시켰다. 예를 들어 Delaunay Triangulation 과제에서 Claude Sonnet 4.5는 도구 사용 시 정확도가 56.0%p 상승했다. 이는 모델이 직접 수행하기 어려운 복잡한 기하학 연산을 외부 라이브러리 호출로 대체함으로써 얻은 결과이다. 반면, 이미 해결 가능한 수준의 간단한 공리적 과제에서는 오히려 도구 호출 오버헤드로 인해 성능이 소폭 하락하는 현상이 관찰됐다.

토큰 예산 분석 결과, GPT-5.2와 Sonnet 4.5 모두 중간 정도의 토큰 사용량에서 최대 성능에 도달한 뒤 정체되거나 하락하는 포화(Saturation) 현상을 보였다. 이는 현재의 추론 모델이 단순히 생각하는 시간을 늘린다고 해서 복잡한 공간 제약 조건을 더 잘 통합하는 것은 아님을 시사한다.

SCBench는 모델의 '공간 직관'을 측정하기 위해 텍스트 기반 인터페이스를 유지하면서도 구조화된 데이터(JSON, 좌표계)를 입출력으로 사용한다. 이는 시각적 인코더의 성능 차이를 배제하고 순수한 공간적 추론 능력을 격리하여 평가하기 위함이다.

실패 분석을 위해 도입된 'Post-hoc Diagnostic Layer'는 독립적인 판사 모델(GPT 5.2-chat)을 사용하여 실패한 시도들을 분류한다. 'Local-Only' 실패는 모델이 생성한 기하학적 요소들이 개별적으로는 타당하지만(예: 삼각형의 내각 합이 180도), 전체적인 연결성이나 제약 조건(예: 전체 볼륨 유지)을 만족하지 못하는 상태를 의미하며, 이는 Transformer의 자기회귀적 특성이 전역적 최적화에 취약함을 보여주는 증거로 제시된다.

구현 측면에서 벤치마크는 OpenSCAD와 PyBullet 시뮬레이터를 활용하여 모델이 제안한 3D 구조의 물리적 타당성과 기하학적 정확도를 실시간으로 검증한다. 이는 단순한 텍스트 매칭 평가의 한계를 극복하고 실제 물리 환경에서의 실행 가능성을 보장한다.

현재 평가는 단일 턴(Single-turn) 및 제로샷(Zero-shot) 프롬프트에 국한되어 있어, 다중 턴 대화나 반복적인 피드백을 통한 성능 개선 가능성은 다루지 않았다. 또한 텍스트 기반 인터페이스에 집중하고 있어 멀티모달 모델의 시각적 인코딩 능력이 공간 추론에 미치는 직접적인 영향은 분석 범위에서 제외되었다.