SpatialBlock-15k로 LVLMs 공간 지능 강화

왜 중요한가

LVLMs는 2D 이미지 이해에는 강하지만 이미지 속 장면의 3D 구조를 복원하고 시점 변화 결과를 추론하는 데 약점이 있습니다. SpatialBlock-15k는 값비싼 실제 장면의 조밀한 3D 주석 대신 15,000개의 합성 블록 문제와 색상 단서를 사용해 이 능력을 학습시키며, Qwen2.5-VL-4B 기반 모델은 MindCube에서 51.3%를 기록해 기존 backbone보다 25.1%p 높아졌습니다.

관련 Figure

Chart
그림은 사람이 거의 완벽하게 해결하는 기본 블록 투영 문제에서 Qwen2.5-7B 20.8%, Gemini-2.5-flash 30.0%, GPT-5 36.7%, Human 95.0%가 기록된 성능 차이를 보여줍니다. 논문이 LVLMs의 공간 지능 부족을 문제의 출발점으로 삼고, 단순한 블록 문제를 학습 신호로 활용하는 이유를 시각적으로 뒷받침합니다.
블록으로 구성한 3D 구조를 특정 방향에서 2D 선택지로 투영하는 예시와 모델·인간의 정확도 비교를 담은 그림입니다.

핵심 기여

주석 부담을 낮춘 SpatialBlock-15k

3D-to-2D projection, viewpoint transformation, structural combination을 각각 5k개씩 포함한 15,000개 합성 데이터셋을 구성해 실제 장면의 조밀한 3D·객체 주석 없이 공간 추론을 학습하게 합니다.

색상 단서와 앵커 기반 공간 추론

색상을 단순한 시각적 다양성이 아니라 깊이 순서, 변환 전후의 앵커 블록, 두 구조의 대응·접촉 영역을 나타내는 기능적 단서로 사용합니다.

직접 답변과 추론 기반 학습

정답 토큰만 예측하는 SpatialBlock-direct와 LoRA 초기화 뒤 GRPO로 추론 경로를 최적화하는 SpatialBlock-reason을 구성해 빠른 답변과 논리적 추론을 각각 학습합니다.

실제 장면으로의 일반화

합성 블록 데이터만 사용했음에도 MindCube, MMSI-Bench, SPBench 등 실제 장면 공간 추론 벤치마크에서 기존 spatial specialist 모델보다 높은 성능을 기록합니다.

핵심 아이디어 이해하기

LVLMs는 이미지의 2D 패턴을 인식하더라도, 가려진 블록의 존재나 서로 다른 시점에서 유지되는 3D 구조까지 자동으로 복원하지 못할 수 있습니다. 블록 쌓기 문제는 보이는 면만 읽는 작업이 아니라, 위에 놓인 블록을 지지하기 위해 뒤에 어떤 블록이 있어야 하는지 추론하고 전체 구조를 재구성하는 작업입니다.

논문은 이 문제를 세 가지 기본 능력으로 나눕니다. spatial composition은 부분적으로 보이는 블록에서 완전한 3D 구성을 복원하고, mental simulation은 회전이나 시점 변화 뒤의 구조를 머릿속에서 변환하며, spatial integration은 두 구조가 합쳐질 때 접촉면과 최종 배치를 계산합니다. 따라서 입력은 블록 구조와 질문이고, 처리 과정은 3D 관계 복원과 변환·결합 시뮬레이션이며, 출력은 목표 시점의 2D 선택지 또는 결합 결과입니다.

단색 블록만 사용하면 모델은 순수한 기하 관계에 집중해야 하지만 복잡한 실제 장면의 기준점을 학습하기 어렵습니다. SpatialBlock-15k는 색을 깊이 순서, 변환을 추적할 앵커 블록, 두 입력 구조를 맞출 대응 블록으로 배치합니다. 모델은 특정 색 블록을 기준으로 삼아 다른 블록의 앞뒤·상대 위치·접촉 관계를 계산하므로, 색상 인식이 3D 구조 추론을 보조하는 입력 신호로 작동합니다.

학습 방식도 두 경로로 나뉩니다. direct 모델은 이미지와 질문에서 정답을 바로 생성하고, reason 모델은 먼저 LoRA로 기본 문제 해결 능력을 맞춘 뒤 GRPO에서 정답 여부, 추론 형식, 길이를 함께 보상받습니다. 이 구조는 단순한 선택지 암기와 중간 논리 경로 생성을 분리해, 90도 시점 변환에는 direct 모델을, 다양한 시점과 여러 이미지의 관계 추론에는 reason 모델을 활용하게 합니다.

관련 Figure

Diagram
첫 부분은 보이는 블록에서 잠재적인 전체 구조를 복원하는 spatial composition을, 가운데는 구조 변환 결과를 추적하는 mental simulation을, 마지막은 두 구조를 결합하는 spatial integration을 나타냅니다. 세 능력은 각각 SpatialBlock-15k의 구조 복원, 시점 변환, 구조 결합 문제와 연결됩니다.
블록 쌓기 문제를 spatial composition, mental simulation, spatial integration의 세 공간 능력으로 분해한 도식입니다.

방법론

SpatialBlock-15k는 세 종류의 블록 쌓기 문제로 구성됩니다. Q1 3D-to-2D projection은 특정 방향에서 본 3D 구조의 2D 투영과 깊이 가림을 예측하고, Q2 viewpoint transformation은 구조를 회전하거나 시점을 바꾼 뒤 블록 간 상대 위치를 보존한 결과를 고르며, Q3 structural combination은 두 구조의 접촉·겹침 위치를 맞춰 통합된 구조를 추론합니다. 각 유형은 5k 샘플로 구성됩니다.

색상 확장은 세 문제 유형에 서로 다른 기능을 부여합니다. Q1에서는 색이 관찰 방향에 따른 깊이 순서를 나타내고, Q2에서는 한 색 블록이 변환 전후 같은 구조적 역할을 유지하는 앵커가 되며, Q3에서는 투명한 색 블록이 두 독립 이미지에서 맞춰야 할 대응·접촉 위치가 됩니다. 입력 이미지에서 색상 단서와 기하 관계를 함께 처리한 뒤, 모델은 객관식 정답을 출력합니다.

Direct answer prediction은 질문 q, 이미지 v, 이전에 생성한 정답 토큰을 입력으로 받아 다음 토큰의 확률을 높입니다. 정답 시퀀스가 $y = \{y_1, y_2, \ldots, y_T\}$ 일 때 손실은 $\mathcal{L}_{ce}(\theta) = -\sum_i \log P(y_i \mid y_{(1:i-1)}, q, v)$ 입니다. 각 $y_i$ 는 정답의 i번째 토큰이며, 모델은 질문·이미지·이전 토큰에서 다음 정답 토큰을 예측한 뒤 모든 토큰의 로그 확률 손실을 합산합니다.

Reasoning-based prediction은 먼저 LoRA 기반 supervised fine-tuning으로 기본 공간 문제 해결과 기존 추론 능력을 보존한 뒤 GRPO를 적용합니다. 생성 응답의 보상은 $\mathcal{R}(y,o)=\mathcal{R}_{acc}(y,o)+\mathcal{R}_{format}(o)+\mathcal{R}_{len}(o)$ 이며, 정답 일치·CoT 형식·50<L<1024 길이 조건을 각각 0 또는 1로 평가합니다. 한 질문에서 G개의 응답을 생성하고 각 보상 $r_i$ 를 그룹 평균과 표준편차로 정규화한 advantage $A_i$ 를 계산해, 높은 보상을 받은 응답의 정책 확률을 높이고 기준 정책과의 KL divergence도 제한합니다.

관련 Figure

Diagram
왼쪽은 Q1 블록 쌓기, Q2 270도 회전, Q3 두 구조를 밀어 결합하는 문제를 보여주고, 오른쪽은 깊이·앵커·대응 관계를 색상으로 표시한 확장형을 보여줍니다. 색상이 Q1에서는 깊이 순서, Q2에서는 변환 기준 블록, Q3에서는 겹쳐 맞출 블록을 지정한다는 데이터 설계를 한눈에 연결합니다.
SpatialBlock-15k의 세 문제 유형과 색상 단서 기반 확장을 실제 블록 선택지 예시로 나타낸 그림입니다.

주요 결과

15k개의 합성 샘플만 사용한 SpatialBlock 모델은 실제 장면 벤치마크에서 기존 spatial specialist 모델보다 대체로 높은 성능을 기록했습니다. SpatialBlock-3B-direct는 SB-Bench 94.8%, MindCube 49.1%, MMSI-Bench 28.1%, SPBench 40.4%, MMMU 46.4%를 기록했고, SpatialBlock-7B-direct는 전체 점수 42.8%를 기록했습니다. SpatialBlock-4B-direct는 MindCube 51.3%로 backbone보다 25.1%p 높았으며, 오픈소스 모델 중 가장 높은 성능을 기록했습니다.

Reasoning 모델은 복잡한 논리 추론에서 강점을 보였습니다. SpatialBlock-3B-reason은 MMSI-Bench 29.2%로 SpatialLadder-3B의 26.0%를 앞섰고, SpatialBlock-7B-reason은 SPBench 50.9%, MMMU 55.5%를 기록했습니다. 정답만 비교하지 않고 ground-truth reasoning step과의 정렬 점수를 측정했을 때도 baseline 17.8보다 높은 21.1을 기록했습니다.

구성 요소 제거 실험에서는 세 질문 유형을 함께 학습할 때 대부분의 벤치마크에서 가장 안정적인 결과가 나왔습니다. 시각적 색상 단서를 제거하면 direct 모델의 MindCube 점수가 49.1%에서 41.2%로, reason 모델은 45.3%에서 38.0%로 낮아졌고, MMSI-Bench도 각각 28.1%에서 26.2%, 29.2%에서 24.4%로 하락했습니다. 반면 SpatialLadder-26k 형식으로 같은 학습 절차를 적용한 모델은 SPBench를 제외한 대부분의 벤치마크에서 SpatialBlock보다 낮았습니다.

Synthetic-Real 데이터와 비교하면 SpatialBlock의 일반화 특성이 더 뚜렷합니다. Synthetic-Real은 in-domain 상대 방향 43.4%, 상대 거리 76.9%로 baseline보다 높았지만 MindCube 32.8%, MMSI-Bench 25.5%, MMMU 43.6%에 그쳤습니다. SpatialBlock은 in-domain 상대 방향 31.4%, 상대 거리 67.4%였지만 MindCube 49.1%, MMSI-Bench 28.1%, MMMU 46.4%를 기록해 학습 분포 밖의 실제 장면에서 더 높은 전이 성능을 냈습니다.

관련 Figure

Diagram
그림은 실제 장면에서 묻는 시계와 키보드의 상대 방향, 물체와 쓰레기통의 상대 거리를 블록 배치 문제로 바꾼 두 유형을 보여줍니다. 논문의 비교 실험은 Synthetic-Real이 in-domain 성능은 높이지만 SpatialBlock-15k보다 MindCube와 MMSI-Bench 같은 out-of-domain 성능이 낮다는 차이를 사용해 블록 쌓기 설계의 일반화 효과를 검증합니다.
실제 장면의 상대 방향·상대 거리 문제를 색상 블록 환경으로 변환한 Synthetic-Real 데이터 예시입니다.

기술 상세

데이터셋은 Q1 3D-to-2D projection, Q2 viewpoint transformation, Q3 structural combination의 세 유형으로 나뉘며 각 유형에 5k 샘플을 배정합니다. Q1은 목표 방향의 실루엣과 깊이 가림을 동시에 판단하고, Q2는 회전 전후 블록의 상대 위치를 유지하며, Q3는 두 구조의 색상 겹침을 접촉 인터페이스로 사용해 통합 결과를 계산합니다.

시각적 단서는 단순한 색상 장식이 아니라 구조적 변수입니다. Q1의 색상은 관찰 방향에서의 깊이 순서를, Q2의 고유 색상은 변환 전후 보존해야 하는 anchor block을, Q3의 투명 색상 영역은 서로 다른 입력 이미지에서 정렬할 블록을 나타냅니다. 따라서 모델의 처리 흐름은 색상 단서 식별 → 기준 블록과 다른 블록의 관계 추적 → 목표 구조의 2D 또는 3D 결과 선택입니다.

Direct 모델은 표준 cross-entropy로 정답 시퀀스만 학습합니다. 예를 들어 정답이 T개 토큰이면 각 위치에서 이전 토큰과 이미지·질문을 조건으로 다음 토큰 확률을 계산하고, 모든 위치의 $-\log P$ 를 더해 손실을 구성합니다. 정답 토큰 확률이 0.9인 위치는 약 0.1의 작은 손실을, 0.1인 위치는 약 2.3의 큰 손실을 만들어 모델이 정답 확률을 높이는 방향으로 갱신되게 합니다.

Reason 모델은 LoRA 초기화와 GRPO를 순차 적용합니다. LoRA 초기화에서는 전체 파라미터를 갱신하지 않고 저순위 적응 파라미터만 학습해 기존 CoT 능력의 손상을 줄이며, 이후 한 질문에 대한 G개 응답의 보상 차이를 advantage로 바꿉니다. 보상은 최종 정답이 맞는지, 추론이 요구된 형식인지, 응답 길이가 50<L<1024인지 각각 판정하므로 정확성과 설명 형식을 동시에 최적화합니다.

초기화 비교에서 No Init.은 SB-Bench 67.8%, 전체 39.2%로 낮았고, Full-SFT Init.은 초기 정확도는 높였지만 실제 장면 일반화가 제한됐습니다. 논문은 Qwen2.5-VL-7B와 GPT-5가 생성한 블록 설명·추론 궤적에도 오류가 자주 포함되어 신뢰할 만한 cold-start 자료를 만들기 어렵다고 보고했으며, LoRA 초기화가 RL에 더 적합한 시작점을 제공했다고 평가합니다.

평가에는 in-domain SB-Bench 600문항과 out-of-domain MindCube, MMSI-Bench, SPBench, MMMU가 사용됐습니다. direct 모델은 정형화된 90도 시점 변환에서 강했고, reason 모델은 다양한 시점 변화와 다중 이미지 추론에서 상대적으로 유리했으며, 실제 장면 이미지 없이 학습했음에도 MMMU 성능은 전반적인 시각 인식 저하를 보이지 않았습니다.

실무 활용

SpatialBlock-15k는 실제 장면의 조밀한 3D 주석 대신 합성 블록 구조를 생성해 LVLMs의 공간 추론을 Fine-tuning하는 데 활용할 수 있습니다. 저장소와 데이터가 공개되어 있어 블록 기반 사전학습, 색상 앵커 설계, direct와 reasoning 학습 전략의 비교 실험에 사용할 수 있습니다.

LVLMs의 3D-to-2D 투영과 시점 변환 능력 평가
합성 블록 문제를 이용한 공간 추론 Fine-tuning 데이터 구성
색상 앵커를 이용한 다중 이미지 구조 결합 학습
LoRA와 GRPO를 결합한 추론 기반 시각 학습 실험

코드 공개 여부: 공개

코드 저장소 보기

키워드

SpatialBlock-15k(합성 블록 쌓기 데이터셋)LVLMs(대형 비전-언어 모델)공간 지능3D-to-2D projection(3D-2D 투영)viewpoint transformation(시점 변환)anchor-based reasoning(앵커 기반 추론)LoRA(저순위 적응)GRPO(그룹 상대 정책 최적화)

용어 해설

대형 비전-언어 모델(Large Vision-Language Model): — 이미지와 텍스트를 함께 입력받아 시각적 내용을 이해하고 언어로 답하는 모델입니다. 이 논문에서는 2D 이미지에서 가려진 블록과 3D 구조를 추론하는 공간 지능 학습의 대상입니다.
공간 지능(Spatial Intelligence): — 2D 이미지에 나타난 정보를 바탕으로 물체의 3D 구조, 위치, 방향과 변환 결과를 추론하는 능력입니다. 자율주행이나 Robotics처럼 장면의 기하 관계를 이해해야 하는 작업에 중요합니다.
앵커 기반 추론(Anchor-based Reasoning): — 복잡한 장면에서 특정 물체나 블록을 기준점으로 선택한 뒤 다른 요소의 위치와 관계를 기준점에 상대적으로 계산하는 방식입니다. SpatialBlock-15k에서는 색으로 앵커와 대응 블록을 표시합니다.
그룹 상대 정책 최적화(Group Relative Policy Optimization (GRPO)): — 한 질문에 대해 여러 응답을 생성하고 각 응답의 보상을 같은 그룹의 평균·표준편차와 비교해 정책을 갱신하는 강화학습 방식입니다. 이 논문에서는 정답, 추론 형식, 응답 길이를 보상에 반영합니다.
저순위 적응(Low-Rank Adaptation (LoRA)): — 기존 모델의 전체 가중치를 직접 갱신하지 않고 저순위 분해 행렬을 추가로 학습하는 Fine-tuning 방식입니다. 논문에서는 기본 공간 능력과 기존 Chain-of-Thought 능력을 함께 보존하기 위한 초기화에 사용합니다.

SpatialBlock-15k로 LVLMs 공간 지능 강화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드