WorldSculpt: 접지 영상에서 조합형 3D 월드 생성

왜 중요한가

기존 장면 복원은 객체를 하나의 fused mesh나 Gaussian 표현으로 합쳐 개별 선택과 이동이 어렵고, 가려진 영역의 형상도 비어 있기 쉽습니다. WorldSculpt는 객체 단위 3D 생성 prior와 다중 시점 조건화를 결합해 수백 개 객체가 밀집한 장면에서도 편집 가능한 mesh 표현을 구성하며, UE-MeshyScene에서 ShapeR보다 CD-ℓ2를 7.42에서 2.48로 낮추고 F-Score를 0.813에서 0.951로 높였습니다.

관련 Figure

Diagram
상단에는 여러 시점의 장면 관측이 있고, 중앙에는 수백 개 객체가 배치된 조합형 월드가 있으며, 하단에는 statue, suitcase, chair, lamp, plant, shelf 같은 독립 mesh가 분리되어 있습니다. 하나의 통합 장면 표현 대신 객체별 선택과 배치를 목표로 하는 논문의 출력 구조를 시각화합니다.
WorldSculpt가 복잡한 실내 장면을 개별 3D 객체 mesh들의 구성으로 변환한 개요 이미지입니다.

핵심 기여

수백 객체를 독립 mesh로 구성하는 WorldSculpt

객체별 관측을 앵커 정렬 표준 좌표계로 옮기고 Pixal3D 생성 prior에 다중 시점 특징을 주입한 뒤, 생성 mesh를 canonical-to-world 변환으로 배치해 조합형 장면을 구성합니다.

장면 수준 재학습 없이 대규모 장면으로 확장

개별 객체의 canonical space 데이터만으로 multi-view conditioning과 conditioning-view augmentation을 학습해, 별도의 scene-level training 없이 심한 가림이 있는 대규모 장면에 적용합니다.

UE-MeshyScene 벤치마크 구축

Unreal Engine 5.8로 93~701개 객체를 포함한 6개 장면을 제작하고, 총 2,299개 객체와 5,964개 시점에 대해 RGB, 카메라 자세, instance mask, 3D bounding box, metric depth, 정답 mesh를 제공합니다.

핵심 아이디어 이해하기

단일 이미지 기반 3D 생성 모델은 보이지 않는 뒷면을 그럴듯하게 채울 수 있지만, 복잡한 장면에서는 한 시점에 드러나는 정보가 적고 객체의 위치와 방향이 장면 좌표에 고정되지 않습니다. 반대로 여러 영상의 기하 정보를 직접 합치면 관측된 표면은 정확해지지만, 가려진 영역은 비어 있을 수 있습니다.

WorldSculpt는 이 두 성질을 결합합니다. 먼저 객체가 가장 잘 보이는 영상을 anchor로 골라 객체 중심의 canonical frame을 만들고, 각 시점의 이미지 특징을 그 좌표계의 voxel 위치로 옮깁니다. 따라서 서로 다른 영상에서 같은 물리적 위치를 가리키는 특징이 하나의 3D grid에 모입니다.

여러 시점의 특징은 평균과 분산을 계산한 뒤, 각 voxel에서 신뢰도가 다른 관측에 softmax 가중치를 부여해 결합합니다. 생성 prior는 관측된 특징을 근거로 형상을 유지하면서 보이지 않는 부분을 완성하고, 최종 mesh는 canonical-to-world 변환으로 원래 장면에 되돌아갑니다. 이 구조 때문에 결과가 하나의 fused 표현이 아니라 객체별로 선택하고 이동할 수 있는 mesh 집합이 됩니다.

방법론

입력은 카메라 내·외부 파라미터가 알려진 N개의 RGB 영상, 객체별 instance mask, coarse 3D localization box입니다. 각 객체에서 가장 완전하게 관측된 영상을 anchor로 선택하고, box 중심과 anchor 방향을 기준으로 정규화된 정육면체 canonical volume을 만듭니다. box가 일부 mask를 덮지 못하면 중심과 방향을 유지한 채 cube의 크기만 키워 모든 선택 시점의 객체가 crop 안에 들어오게 합니다.

각 시점의 이미지는 canonical cube의 투영 영역으로 crop한 뒤 mask 밖의 배경을 제거하고 생성 모델 입력 크기로 조정합니다. crop과 resize로 바뀐 카메라 내부 파라미터를 다시 계산한 뒤, canonical voxel을 world frame, camera frame, resized crop 순서로 투영합니다. 이 투영 위치에서 DINOv3 특징을 샘플링하면 2D feature map이 공통 3D voxel grid로 들어갑니다.

각 voxel에서 시점별 특징의 평균 μ와 원소별 분산 σ²를 계산하고, 두 통계와 개별 특징을 MLP에 넣어 보정 특징과 aggregation logit을 얻습니다. logit은 softmax로 정규화되어 시점별 가중치가 되며, 최종 특징은 평균 특징에 가중 잔차를 더한 값입니다. feature MLP의 마지막 층을 0으로 초기화해 학습 초기에 단순 평균으로 시작하고, 이후 관측 신뢰도에 따른 보정을 학습합니다.

결합된 3D 조건은 Pixal3D의 두 geometry stage에 주입됩니다. sparse-structure stage가 64³ grid에서 대략적인 점유 voxel을 예측하고, shape stage가 점유 영역의 고해상도 sparse structured latent를 생성한 뒤 mesh로 복호화합니다. 기존 Pixal3D 가중치는 고정하고 attention과 block별 projection에는 rank 32, scaling factor 32인 LoRA를 적용하며, multi-view aggregator와 zero-initialized conditioning projection은 전체 학습합니다.

학습 중에는 1~20개 시점을 무작위로 선택하고 anchor도 바꿉니다. 입력 영상에 2D 또는 3D 일관 occluder, 비-앵커 카메라 자세 오차, mask 경계 손상, 저해상도 관측을 단계적으로 추가하지만 정답 latent는 훼손하지 않습니다. 각 geometry stage는 TexVerse에서 15k iteration 동안 bf16 AdamW로 학습하며, learning rate는 10^-4, EMA는 0.9999입니다.

관련 Figure

Diagram
입력 장면의 instance mask와 3D box에서 여러 시점 crop을 만들고, World2Cano 변환으로 canonical observation을 구성합니다. DINOv3 feature projection과 aggregation으로 3D 조건을 만든 뒤 LoRA가 적용된 Pixal3D DiT와 3D-VAE를 거쳐 mesh를 생성하고, Cano2World 변환으로 장면 좌표에 되돌립니다.
Grounded scene에서 다중 시점 특징을 추출하고 객체별 canonical mesh를 생성하는 WorldSculpt 처리 흐름도입니다.

Screenshot
각 환경은 실제 촬영과 유사한 RGB 관측, 희소한 장면 점군, 색상별 객체 bounding box가 함께 배치된 구조로 나타납니다. 장면별 객체 수와 배치 밀도가 다르고, 개별 객체의 정답 mesh를 이용해 심한 상호 가림 조건을 평가하는 데이터셋의 성격을 확인할 수 있습니다.
UE-MeshyScene의 Hangar, Office, Abandoned City, Japanese School, Cathedral, Desert Town 장면과 객체별 3D box를 시각화한 데이터셋 이미지입니다.

주요 결과

Toys4k의 500개 객체에서 입력 시점을 1개에서 16개로 늘리면 성능이 꾸준히 개선됩니다. 시점별 가림이 75%인 조건에서 16개 입력은 CD-ℓ2 2.25, CD-ℓ1 3.97, EMD 8.0, [email protected] 0.929를 기록했으며, 1개 입력의 CD-ℓ2 25.45, [email protected] 0.631보다 안정적입니다. 16개 시점에서는 시점별 가림이 50%까지 증가해도 CD-ℓ2가 1.19에서 1.44로만 변해 부분 관측에 대한 내성이 유지됩니다.

조합형 장면 평가에서는 HouseCat6D에서 CD-ℓ2 0.28, F-Score 0.995를 기록했고, Toys4k-Scene에서는 CD-ℓ2 0.61, F-Score 0.981을 기록했습니다. ShapeR의 같은 지표는 각각 1.26와 0.973, 8.38과 0.746이므로, 월드 좌표계에서 형상과 배치를 함께 평가하는 조건에서 객체별 복원이 더 정확하게 나타납니다.

UE-MeshyScene의 6개 장면에는 93~701개 객체가 포함되며 총 객체 수는 2,299개입니다. WorldSculpt는 ShapeR 대비 CD-ℓ2 평균을 7.42에서 2.48로, 객체별 median을 2.47에서 0.25로 낮췄고, CD-ℓ1은 6.37에서 2.66으로 낮췄습니다. F-Score는 0.813에서 0.951로 상승해, 작은 객체와 심하게 가려진 객체에서도 평균뿐 아니라 일반적인 객체 수준의 개선이 확인됩니다.

fusion ablation에서는 단순 평균보다 학습형 IBR aggregator의 이점이 입력 시점과 가림 정도가 커질수록 뚜렷해졌습니다. Toys4k에서 2개 시점·75% 가림 조건의 CD-ℓ2가 12.91에서 10.03으로 감소했고 [email protected]는 0.742에서 0.762로 높아졌습니다. UE-MeshyScene에서도 CD-ℓ2는 2.83에서 2.48로 12% 감소하고 F-Score는 0.944에서 0.951로 상승했습니다.

관련 Figure

Chart
RGB 열의 사과, 컵, 공룡, 생활용품 장면에 대해 SAM3D, SceneGen, SceneMaker, RecGen, ShapeR, Ours, GT 결과를 나란히 배치합니다. 확대 행의 표면 법선과 색상 오차는 WorldSculpt가 겹친 객체의 세부 형상과 배치를 더 가깝게 복원하는지 비교하는 데 사용됩니다.
Toys4k-Scene에서 RGB 입력과 여러 방법의 객체별 mesh 복원을 GT와 비교한 정성 평가 이미지입니다.

Chart
Japanese School, Desert Town, Cathedral 장면에서 RGB와 instance mask가 먼저 배치되고, 이후 각 객체의 mesh가 ShapeR, Ours, GT 열로 비교됩니다. 책상·책·기둥·statue처럼 서로 가려진 객체의 형상과 world-frame 위치를 실제 캡처 조건에서 평가합니다.
HouseCat6D의 실제 실내 장면에서 객체 mask와 ShapeR, WorldSculpt, GT mesh를 비교한 이미지입니다.

Chart
여러 장면에서 RGB와 instance mask를 기준으로 ShapeR와 Ours가 생성한 mesh를 GT와 나란히 배치합니다. WorldSculpt 결과는 책상과 의자처럼 작고 가려진 객체에서도 형태와 위치를 유지하는 반면, 비교 결과에는 과도하게 매끈하거나 위치가 어긋난 형상이 포함됩니다.
UE-MeshyScene의 실내 RGB 장면과 ShapeR, WorldSculpt, GT의 객체별 mesh 복원을 비교한 이미지입니다.

기술 상세

객체 mesh는 canonical mesh와 canonical-to-world 변환의 쌍으로 저장됩니다. canonical cube의 한 점 x는 scale s, anchor 유도 회전 R, box 중심 c를 이용해 world 좌표 xᵂ = sRx + c로 이동합니다. s가 등방성으로 적용되므로 생성 객체의 비율은 보존되고, 각 객체는 다른 객체와 합쳐지지 않은 채 독립적으로 유지됩니다.

crop-aware projection은 canonical voxel을 먼저 Tᵏ_ow로 world frame에 옮기고, 카메라 extrinsic의 역변환으로 camera frame에 넣은 뒤, 조정된 intrinsic K̄와 perspective division으로 crop 영상 좌표를 계산합니다. 이 순서가 객체의 위치·방향·크기·영상 내 편심을 함께 반영하므로, 객체가 모든 입력 영상의 중앙에 있다는 가정이 필요하지 않습니다.

시점별 특징 g_n(x)에 대해 평균 μ(x)와 분산 σ²(x)를 계산하고, MLP_feat는 [g_n, μ, σ²]에서 보정 특징을, MLP_weight는 같은 입력에서 logit을 산출합니다. softmax 가중치 α_n은 각 시점의 상대적 신뢰도를 정규화하며, g_out은 평균 특징과 가중 잔차의 합으로 계산됩니다. 예를 들어 시점별 logit이 0, 1이면 softmax 이후 두 가중치는 약 0.269와 0.731이 되어 두 번째 관측의 보정 기여가 더 커집니다.

Pixal3D의 원래 입력 방식은 pose-free 단일 RGB 이미지와 cross-attention입니다. WorldSculpt는 anchor 영상에서 기존 global token을 추출해 이 경로를 유지하고, 나머지 시점의 공간 정렬 특징은 3D token 위치에 맞춰 각 transformer block에 추가합니다. zero-initialized projection은 초기 단계에서 기존 prior의 동작을 보존하며, LoRA는 전체 모델을 다시 학습하지 않고 다중 시점 조건을 활용하도록 attention과 projection만 조정합니다.

학습 설정은 sparse-structure stage의 입력 512×512, shape stage의 입력 1024×1024, batch size 각각 48과 12입니다. 두 stage는 독립적으로 15k iteration 학습하며, AdamW의 betas는 (0.9, 0.95), weight decay는 없고 shape stage의 일부 block에는 gradient checkpointing을 적용합니다. 시점당 token 수는 32,768로 제한해 메모리 사용량을 관리합니다.

Marble의 3DGS 월드를 변환할 때는 먼저 가상 카메라 경로에서 RGB와 metric depth를 렌더링하고, SAM3로 객체 mask track을 얻습니다. temporal mask overlap과 3D box 일관성으로 tracklet을 병합한 뒤, mask 픽셀을 world 좌표 point cloud로 역투영하고 DBSCAN의 지배적 군집에서 coarse box를 계산합니다. 이 결과를 WorldSculpt의 표준 입력으로 넣어 별도 재학습 없이 객체별 mesh를 생성합니다.

한계점

카메라 자세, 객체별 instance mask, coarse 3D localization box의 품질에 의존하며, box가 크게 어긋나거나 mask가 잘못되면 생성 형상이 영향을 받습니다. 저조도와 motion artifact는 학습 중 명시적으로 모델링하지 않았습니다. 현재는 geometry만 생성하고 texture와 material은 포함하지 않으며, 여러 관측이 동일한 정적 형상과 자세를 본다는 가정을 사용해 움직이거나 변형되는 객체는 지원하지 않습니다.

실무 활용

WorldSculpt는 다중 시점 RGB 영상과 객체 mask, 대략적인 3D 위치를 객체별 편집 가능한 mesh 장면으로 변환합니다. 생성된 각 mesh가 공통 world frame에 배치되므로 렌더링, 시뮬레이션, 게임·AR/VR 콘텐츠 제작, asset 재사용 파이프라인에 연결할 수 있습니다.

복잡한 실내·실외 촬영 영상을 객체별 mesh 장면으로 변환해 게임과 AR/VR 편집에 활용
가려진 객체의 형상을 보완한 뒤 객체 단위 이동과 재배치를 지원하는 콘텐츠 제작
생성된 3DGS 월드에서 개별 객체 mesh를 추출해 물리 시뮬레이션이나 asset 재사용에 활용
다중 시점 객체 복원 연구에서 Toys4k, HouseCat6D, UE-MeshyScene 평가 파이프라인으로 활용

코드 공개 여부: 공개

코드 저장소 보기

관련 Figure

Diagram
각 행은 3DGS RGB rendering, WorldSculpt의 normal mesh, 색상이 입혀진 mesh, RGB 위에 겹친 결과로 구성됩니다. 거실의 sofa·table·chair 같은 객체가 공통 world frame에 개별 mesh로 배치되어, 생성된 3DGS 월드를 편집 가능한 조합형 표현으로 바꾸는 응용 경로를 시각화합니다.
Marble에서 생성된 3DGS 장면을 RGB와 객체별 색상 mesh로 변환한 결과입니다.

키워드

WorldSculpt(조합형 3D 장면 생성)Pixal3D(3D 생성 prior)Multi-view Conditioning(다중 시점 조건화)DINOv3(시각 특징 추출)UE-MeshyScene(복잡 장면 벤치마크)LoRA(저순위 적응)Compositional 3D Representation(조합형 3D 표현)

용어 해설

조합형 3D 표현(Compositional 3D Representation): — 복잡한 장면을 하나의 통합된 표면으로 저장하지 않고, 각 객체를 독립적인 3D mesh와 위치 정보의 묶음으로 표현하는 방식입니다. 객체별 선택·이동·재배치가 가능해 게임, AR/VR, 시뮬레이션 같은 후속 처리에 적합합니다.
3D 생성 사전학습 모델(3D Generative Prior): — 대규모 3D 객체 데이터에서 학습한 형상 분포를 바탕으로 관측되지 않은 부분의 구조를 추정하는 생성 모델입니다. WorldSculpt에서는 부분적으로 가려진 관측을 입력받아 완전한 객체 mesh를 복원하는 데 쓰입니다.
다중 시점 조건화(Multi-view Conditioning): — 한 객체를 여러 카메라 시점에서 관측한 정보를 생성 모델의 조건으로 함께 넣는 방식입니다. 각 시점의 2D 특징을 공통 3D 좌표에 정렬한 뒤 결합해, 단일 이미지에서 발생하는 가림과 형상 누락을 줄입니다.
앵커 정렬 표준 좌표계(Anchor-aligned Canonical Frame): — 객체가 가장 잘 관측된 기준 시점을 앞면으로 삼아 객체별 가상 정육면체 좌표계를 구성하는 절차입니다. 여러 영상의 관측을 동일한 좌표에 맞춘 뒤 생성된 mesh를 다시 원래 월드 좌표로 변환할 수 있게 합니다.
Flow Matching: — 잡음 상태에서 목표 3D 잠재 표현으로 이동하는 연속적인 변환 경로를 학습하는 생성 방식입니다. Pixal3D는 먼저 점유 구조를 예측하고 이어서 고해상도 형상 잠재 표현을 생성해 최종 mesh로 복호화합니다.

WorldSculpt: 접지 영상에서 조합형 3D 월드 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

가려진 실내 장면을 편집 가능한 3D 객체로 복원하는 Lucida

World Labs Atlas, 희소 이미지로 3D 장면 재구성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

가려진 실내 장면을 편집 가능한 3D 객체로 복원하는 Lucida

World Labs Atlas, 희소 이미지로 3D 장면 재구성