생성적 관점에서의 공간 지능 탐구

기존 멀티모달 모델의 공간 지능은 주로 이해 능력에만 초점을 맞추었으나, 이 논문은 이미지를 편집하고 생성하는 과정에서 3D 공간 제약 조건을 준수하는 '생성적 공간 지능(GSI)'의 중요성을 제시합니다. 생성 학습이 모델의 다운스트림 공간 이해 능력까지 직접적으로 향상시킬 수 있음을 입증하여 통합 멀티모달 모델의 새로운 발전 방향을 제시합니다.

기존의 멀티모달 모델은 이미지를 보고 질문에 답하는 '이해' 영역에서는 발전했으나, 특정 물체를 3D 공간상에서 회전시키거나 이동시키는 '생성' 영역의 공간 지능은 부족했다. 이는 모델이 픽셀 간의 관계는 학습하지만, 물리적인 3D 구조와 기하학적 제약 조건을 내면화하지 못했기 때문이다.

이 논문은 모델이 이미지 내의 객체를 3D 공간의 구성 요소로 인식하도록 유도한다. 각 객체를 중심점(center), 크기(size), 회전(rotation) 값을 가진 3D 엔티티로 정의하고, 이를 카메라 파라미터와 연결하여 2D 이미지 평면에 투영하는 기하학적 토대를 마련한다. 이를 통해 '사과를 왼쪽으로 15cm 이동하라'는 지시를 단순한 픽셀 변화가 아닌 3D 좌표계상의 변환으로 처리하게 한다.

결과적으로 모델은 생성 학습 과정을 통해 공간의 깊이, 객체 간의 가려짐(occlusion), 물리적 안정성 등을 학습하게 된다. 이러한 생성적 훈련은 모델이 세상을 바라보는 방식 자체를 정교하게 만들어, 결과적으로 이미지를 해석하는 이해 능력까지 동반 상승시키는 결과를 낳는다.

GSI-Bench는 생성적 공간 지능을 측정하기 위해 공간적으로 접지된 이미지 편집(Spatially Grounded Image Editing) 작업을 공식화한다. 입력 이미지 I와 텍스트 지시사항 T가 주어지면, 모델은 3D 변환 Φ3D가 반영된 출력 이미지 I'를 생성해야 한다. 이 과정에서 장면은 객체 집합 {Oi}와 카메라 C로 구성된 3D 표현 S로 모델링된다.

합성 데이터셋인 GSI-Syn 구축을 위해 AI2-THOR 및 MesaTask 시뮬레이터를 활용한다. 장면 초기화 후 가시성 및 물리적 안정성을 검사하여 유효한 작업 후보를 생성한다. [3D 장면 정보 입력 → 물리 엔진 기반의 변환 수행 → 렌더링 결과 출력] 과정을 통해 완벽한 정답(Ground-truth) 이미지를 확보하며, Qwen3-VL-235B와 같은 MLLM을 활용해 품질이 낮은 샘플을 필터링한다.

실제 데이터셋인 GSI-Real은 ScanNet++의 RGB-D 데이터를 기반으로 구축된다. DetAny3D 모델을 사용하여 2D 이미지에서 3D 바운딩 박스와 포즈를 재구성한다. [2D 이미지 입력 → 3D 재구성 알고리즘 적용 → 객체별 3D 좌표 및 라벨 획득] 과정을 거쳐 실제 환경의 복잡성을 반영하며, 최종적으로 인간 검수자가 지시사항의 명확성과 라벨의 정확성을 확인한다.

평가 프로토콜은 네 가지 차원으로 구성된다. Instruction Compliance(IC)는 방향성 등 의미론적 준수 여부를 이진 판정하며, Spatial Accuracy(SA)는 변환된 객체의 기하학적 오차를 측정한다. Edit Locality(EL)는 LPIPS를 사용하여 편집되지 않아야 할 영역의 보존 상태를 계산하고, Appearance Consistency(AC)는 편집된 객체의 고유 속성(색상, 질감 등) 유지 여부를 검증한다.

실험 결과, 현재의 최첨단 모델들도 정밀한 공간 생성 작업에서 어려움을 겪는 것으로 나타났다. 폐쇄형 모델 중 Nano Banana와 GPT-img는 GSI-Syn-Table 데이터셋에서 각각 37.03, 33.97의 평균 점수를 기록했다. 오픈소스 모델 중에서는 Emu3.5가 GSI-Real에서 43.52점을 기록하며 가장 우수한 성능을 보였으나, 여전히 복잡한 3D 조작에서는 한계를 보였다.

GSI-Syn을 활용한 파인튜닝 효과는 매우 강력했다. BAGEL 모델을 GSI-Syn으로 학습시킨 결과, GSI-Real 데이터셋에서 평균 점수가 28.46에서 36.28로 7.83포인트 상승했다. 특히 공간 정확도(SA)와 편집 국소성(EL)에서 큰 폭의 개선이 확인되었으며, 이는 합성 데이터에서의 학습이 실제 이미지로 성공적으로 전이됨을 의미한다.

가장 주목할 만한 결과는 공간 이해 능력의 향상이다. 생성 데이터로만 학습했음에도 불구하고, 공간 이해 벤치마크인 OmniSpatial에서 BAGEL+GSI-Syn 모델은 기존 대비 성능이 향상되었다. 특히 공간 상호작용(+2.00%)과 시점 전환(+1.07%) 지표에서 유의미한 이득을 얻었으며, SAT-Real 벤치마크에서도 전체적으로 4.00%의 성능 향상을 달성했다.

GSI-Bench는 7가지 정량적 공간 작업(카메라 상대 이동, 객체 상대 배치, 객체 회전, 용기 배치, 시점 제어, 공간 삭제, 객체 스케일링)을 정의하여 모델의 다각도 능력을 검증한다. 각 작업은 3D 기하학적 변환 Φ3D로 엄격하게 정의되어, 단순한 픽셀 통계가 아닌 물리적 법칙에 기반한 평가를 가능하게 한다.

학습 전략 측면에서, 본 연구는 시뮬레이션 데이터(Sim)에서 실제 데이터(Real)로의 간극을 줄이기 위해 대규모의 정밀한 합성 데이터를 활용한 조인트 퍼셉션-제너레이션 학습(Joint Perception-Generation Learning)의 가능성을 탐구한다. BAGEL 아키텍처를 기반으로 자기주의(Self-attention) 메커니즘을 통해 이해 모듈과 생성 모듈 간의 깊은 상호작용을 유도한다.

데이터 구축 파이프라인에서 MLLM의 역할이 강조된다. GSI-Real 구축 시 MLLM은 물리적 오류를 체크하고, 템플릿 기반의 캡션을 자연스러운 문장으로 재작성하며, 최종 생성물의 외관 품질을 검증하는 게이트키퍼 역할을 수행한다. 이는 데이터셋의 확장성과 품질을 동시에 확보하는 핵심 메커니즘이다.

GSI-Syn-Room 데이터셋의 경우 장면의 복잡성과 공간적 모호성으로 인해 GSI-Syn-Table에 비해 성능 향상 폭이 상대적으로 낮게 나타났다. 또한, 복잡한 논리적 추론이 필요한 작업에서는 명시적인 추론 감독(Reasoning supervision)의 부재로 인해 성능이 소폭 하락하는 경향이 관찰되었다.