SynCity 3000: 컨볼루셔널 추론과 합성 데이터로 대규모 3D 장면을 생성하는 파이프라인

왜 중요한가

대형 3D 장면 제작은 수작업과 전문 인력이 많이 필요했으나, SynCity 3000은 자동화된 텍스트→2D 템플릿→3D 생성 파이프라인을 통해 이 과정을 대폭 간소화한다. 본 연구는 기존 object-centric 3D 생성기의 타일화 방식이 초래하던 격자형 불연속과 지역적 비일관성을 해결하기 위해 모델을 윈도우 기반의 컨볼루셔널 연산으로 적응시켰다는 점에서 중요하다. 또한 장면 규모 학습을 위해 저자들이 만든 320k 샘플 합성 데이터 엔진은 실제 장면 데이터 부족 문제를 우회하는 실용적 대안을 제공한다.

관련 Figure

Photo
이 그림은 SynCity 3000이 다양한 프롬프트에 대해 일관된 시각적 스타일을 유지한 채로 대규모 장면을 생성할 수 있음을 직관적으로 보여준다. 템플릿 단계와 3D Gaussian Splats 출력 간의 대응 관계를 확인할 수 있어 파이프라인 전체 흐름의 결과 품질을 평가하는 근거로 사용된다.
텍스트 프롬프트로부터 생성된 다양한 스타일의 대규모 3D 장면 예시들을 디메트릭 템플릿과 최종 3D 출력의 쌍으로 제시하고 있다.

핵심 기여

2단계 파이프라인으로 대규모 장면 생성 체계화

텍스트에서 시작해 먼저 디메트릭 관점의 고해상도 2D 템플릿을 생성한 뒤, 해당 템플릿을 입력으로 삼아 3D Gaussian Splats를 출력하는 두 단계 체계를 제안했다. 이 분리로 템플릿 생성과 3D 복원을 독립적으로 개선할 수 있으며 그래픽 아티스트가 만든 템플릿도 재사용 가능하다.

컨볼루셔널 추론을 위한 TRELLIS의 파인튜닝

TRELLIS의 두 단계 생성기(희소 구조·구조적 라텐트)를 윈도우 기반 컨볼루셔널 추론에 맞게 파인튜닝했다. 저자들은 코어(core)와 주변 문맥(context)을 분리하고 마스크된 이미지 입력을 사용하며 위치 인코딩을 확장하여 큰 라텐트 캔버스에서 평행 처리 및 평균화가 가능하도록 설계했다.

합성 데이터 엔진으로 장면 규모 학습 데이터 확보

Objaverse-XL 객체를 무작위 지형 위에 배치하고 다중 뷰로 렌더해 dimetric 템플릿·희소 구조·구조적 라텐트를 생성하는 합성 데이터 엔진을 개발해 320k 샘플을 생산했다. 이 데이터는 TRELLIS를 장면 수준으로 적응시키는 데 사용되었고 DINOv2 특징을 복셀 그리드에 투영하는 처리도 포함되었다.

슬라이딩 윈도우 기반 라텐트 평균화로 전역 일관성 확보

2D 템플릿 생성 단계에서는 원래의 확산 모델을 겹치는 윈도우들에 동일하게 적용하고 각 스텝에서 예측을 평균화해 패치 경계에서의 시각적 불연속을 줄였다. 3D 단계에서도 유사한 창 분할과 평균화 기법을 사용해 타일식 격자 구조의 한계를 극복했다.

정량·정성 비교에서 기존 방법 대비 우수성 실증

템플릿 충실도 평가에서 최종 방법은 LPIPS 0.3993, SSIM 0.5247, PSNR 14.4137을 기록했으며 합성 데이터 기반 지표 및 사용자 연구에서 SynCity와 TRELLIS 계열 방법보다 전반적 선호와 템플릿 충실성 면에서 우위를 보였다.

핵심 아이디어 이해하기

대부분의 이미지-투-3D 방법은 단일 객체나 타일 단위의 생성에 최적화되어 있어 장면 전체를 한 번에 생성하면 경계 불연속이나 기하학적 결손이 나타난다. 기존 접근은 장면을 개별 타일로 분할해 순차적으로 생성한 뒤 합성했으나 그 과정에서 타일 경계의 시각적·구조적 불일치가 남았다. 이 문제는 장면 전체의 전역적 문맥을 반영할 수 없다는 점에서 기인한다.

방법론

SynCity 3000은 두 단계로 작동한다. 2D 단계에서는 텍스트와 선택적 지역 프롬프트를 받아 dimetric 관점의 전체 장면 템플릿을 생성하고, 이때 잠재 공간을 겹치는 윈도우로 나눈 뒤 각 윈도우에서의 노이즈 예측을 매 디노이징 스텝마다 평균화해 전역적 일관성을 확보한다. 3D 단계에서는 TRELLIS의 희소 구조 생성기와 구조적 라텐트 생성기를 윈도우 기반으로 파인튜닝해 큰 라텐트 캔버스에 대해 병렬적이고 컨볼루셔널한 추론을 수행한다.

관련 Figure

Diagram
그림은 latent 캔버스 분할, 윈도우별 로컬 프롬프트 적용, 각 윈도우의 노이즈 예측을 스텝마다 평균화해 전체 캔버스를 갱신하는 구체적 처리 흐름을 시각적으로 전달한다. 이 다이어그램은 2D 단계에서의 전역 일관성 확보 기제를 이해하는 데 직접적 근거가 된다.
2D 템플릿 생성 단계의 내부 구성과 윈도우 기반 latent 평균화 과정을 다이어그램으로 보여준다.

Diagram
이 그림은 템플릿에서 노이즈 라텐트를 슬라이딩 윈도우로 처리해 희소 구조를 만들고, 이어서 구조적 라텐트를 생성해 디코더로 3D Gaussian Splats를 얻는 전체 3D 변환 과정을 단계별로 드러낸다. 특히 코어와 문맥의 역할 및 마스킹 전략을 시각적으로 나타내어 파인튜닝 설계와 바로 연결된다.
3D 단계의 컨볼루셔널 추론 파이프라인을 나타내며, 희소 구조 생성과 구조적 라텐트 생성을 순차적으로 수행하는 흐름을 보여준다.

주요 결과

템플릿 충실도 비교에서 제안 방법은 LPIPS 0.3993, SSIM 0.5247, PSNR 14.4137을 달성해 TRELLIS 및 다른 비교 기법들보다 전반적으로 우수한 성능을 보였다. 합성 프록시 기반의 기하학적 평가에서는 작은 템플릿(1344×672)과 큰 템플릿(2240×1120) 모두에서 Chamfer와 F-score를 포함한 지표에서 일관된 성능을 유지했으며, 큰 템플릿에서는 TRELLIS보다 Chamfer와 F-score에서 우위를 보였다. 사용자 연구에서는 레이아웃 제어, 템플릿 충실성, 전체 선호도 항목에서 SynCity 대비 높은 선택률을 기록했으며 평균 다중뷰 현실성 평가는 3.57(1~5 척도)이었다.

관련 Figure

Photo
비교 이미지는 타일 기반 SynCity에서 나타나는 격자형 불연속성과 SynCity 3000의 유기적 구조 차이를 강조한다. 정성적 차이를 통해 제안 방식의 전역 일관성 확보 효과를 직관적으로 보강하며 정량 지표와 함께 결과 신뢰도를 높인다.
SynCity와 SynCity 3000의 생성 결과 비교로, 제안 기법의 장면 흐름과 세부 재현이 더 자연스럽게 보임을 시각적으로 제시한다.

Photo
이 그림은 장면 크기가 커질 때 기존 TRELLIS의 해상도 한계로 인해 세부 재현 능력이 떨어지는 반면, 제안 방법은 템플릿 충실도를 더 잘 유지함을 보여준다. 대형 장면에 대한 확장성 주장을 시각적으로 보완하는 근거로 활용된다.
대형 템플릿(3136×1568)에서 TRELLIS와 제안 기법의 디테일 복원 차이를 확대해서 비교한 이미지이다.

기술 상세

전체 아키텍처는 두 개의 주요 단계로 구성된다. 첫 번째 단계는 latent diffusion 기반의 텍스트-투-이미지 모델(Flux ControlNet 사용)로 dimetric 템플릿을 생성하며, 이때 latent 캔버스를 겹치는 윈도우로 분할하고 각 윈도우의 노이즈 예측을 평균화해 전역 일관성을 유지한다. 두 번째 단계는 TRELLIS의 두 구성 요소(희소 구조 디노이저 Φ3D 및 구조적 라텐트 디노이저 Φ3D')를 윈도우 기반 컨볼루셔널 추론이 가능하도록 파인튜닝하는 것이다.

관련 Figure

Diagram
그림은 본문에서 말한 두 가지 학습 목표를 병행해 기존 TRELLIS 성능을 유지하면서 컨볼루셔널 동작을 학습시키는 전략을 시각화한다. 이는 파인튜닝 확률 p를 사용해 모델이 원래의 객체 중심 태스크와 새로운 장면 중심 태스크를 함께 학습하도록 설계된 근거를 제공한다.
파인튜닝 과정에서 사용하는 두 가지 학습 목적(코어+문맥과 코어만)을 비교한 다이어그램이다.

Diagram
이 이미지는 합성 데이터 생성의 구체적 구성요소와 렌더링·투영·인코딩 파이프라인을 한눈에 보여주어 320k 샘플 생성의 내부 절차를 이해하게 한다. DINOv2 특징을 복셀 그리드에 투영하는 단계와 그 결과로 얻는 희소 구조·구조적 라텐트의 연속성이 데이터 엔진의 설계 의도를 뒷받침한다.
합성 데이터 엔진의 파이프라인으로 Objaverse 객체 배치, dimetric 렌더링, DINOv2 특징 투영, 인코더를 통한 라텐트 생성 과정을 보여준다.

한계점

다중뷰 시각적 타당성을 정량화하기 위한 완전한 실세계 그라운드 트루스가 존재하지 않아 다중뷰 합리성 판단이 주관적 요소에 의존했다는 한계가 있다. 학습과 추론 파이프라인에서 템플릿 윈도우의 마스크 외연(extrusion) 값은 재구성 가능한 최대 구조 높이를 제한하므로 동일한 값이 데이터 생성, 학습, 추론 전반에서 일관되게 유지되어야 한다. 또한 TRELLIS 기반 디코더의 색상 편차 보정을 별도 후처리로 수행해야 하는 지점이 존재해 완전 무후처리 워크플로는 아니다.

실무 활용

이 방법은 게임, 시뮬레이션, 가상환경 제작에서 텍스트 기반으로 대규모 장면을 자동 생성하고자 하는 파이프라인으로 실무 적용 가능성이 높다. 2D 템플릿을 별도로 설계해 아티스트의 의도를 유지하면서도 대규모 3D 장면을 자동으로 생성할 수 있어 제작 시간과 전문 인력 의존도를 낮출 수 있다.

레벨 디자이너가 텍스트와 2D 템플릿으로 대규모 게임 월드를 빠르게 시제품화하는 작업
시뮬레이터나 훈련 환경에서 다양한 테마의 장면을 대량 생성하여 데이터 증강용 시뮬레이터 구동
도시계획·가상 투어용 초기 레이아웃을 빠르게 생성하고 아티스트가 후처리하는 워크플로

코드 공개 여부: 공개

코드 저장소 보기

키워드

image-to-3d generators(이미지→3D 생성기)convolutional inference(컨볼루셔널 추론)synthetic dataset(합성 데이터 엔진)dimetric image(디메트릭 이미지)3D Gaussian Splats(3D 가우시안 스플랫)

용어 해설

디메트릭 투영(Dimetric projection): — 디메트릭 투영은 장면을 등각에 가깝게 비스듬히 보는 정사영 방식으로, 텍스처와 구조를 왜곡 없이 평면 이미지에 담기 좋아 2D 템플릿에서 3D 구조로의 대응을 단순화한다. 본문에서는 템플릿 생성과 3D 복원 과정에서 모든 뷰를 동일한 기하학적 기준으로 정렬하기 위해 사용되었으며, 컨볼루셔널 윈도우와의 대응 관계를 명확히 한다.
3D 가우시안 스플랫(3D Gaussian Splats): — 3D Gaussian Splats는 장면을 가우시안 기반의 점·스플랫으로 표현하는 렌더링 표상으로, 각 스플랫에 위치·크기·색상·노멀 정보를 담아 임의 시점에서 실시간에 가깝게 렌더링할 수 있다. 본문에서는 최종 출력 표현으로 채택되어, 구조적 라텐트에서 디코더를 통해 고해상도 시각적 결과를 생성하는 데 쓰였다.
DINOv2: — DINOv2는 자기지도학습 기반 이미지 특징 추출기이며, 본문에서는 다중 뷰로 렌더한 이미지에서 추출한 특징을 복셀 그리드에 투영하여 구조적 라텐트 초기화를 돕는 조건 특성으로 사용되었다. 이 특징은 구조와 시맨틱을 라텐트에 결합하는 역할을 수행한다.
컨볼루셔널 추론(Convolutional inference): — 컨볼루셔널 추론은 큰 장면을 겹치는 슬라이딩 윈도우로 분할한 뒤 각 윈도우를 동시 처리하고 예측을 평균화해 전체 라텐트 캔버스를 갱신하는 방식이다. 본문에서는 기존의 객체 중심 모델을 장면 규모로 확장하기 위해 TRELLIS의 디노이저를 윈도우 기반으로 적용하고, 문맥 토큰과 마스크된 이미지를 입력으로 사용하여 국소와 전역 일관성을 동시에 확보하는 데 쓰였다.

SynCity 3000: 컨볼루셔널 추론과 합성 데이터로 대규모 3D 장면을 생성하는 파이프라인

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드