FlowScene: 멀티모달 그래프 렉티파이드 플로우를 활용한 스타일 일관성 있는 실내 장면 생성

기존의 3D 장면 생성 기술은 개별 가구의 배치는 잘 수행하지만, 방 전체의 분위기나 가구 간의 스타일을 통일하는 데 한계가 있었다. FlowScene은 가구 간의 관계를 그래프로 연결하고 정보를 서로 주고받으며 생성하는 방식을 도입하여, 마치 전문 디자이너가 꾸민 것처럼 조화롭고 일관된 스타일의 3D 공간을 고속으로 자동 생성한다.

기존의 3D 장면 생성은 주로 Transformer나 Diffusion 모델을 사용하여 개별 객체를 독립적으로 생성하거나 단순한 텍스트 조건에 의존했다. 하지만 침대와 협탁이 같은 재질이어야 하거나 책상이 의자 앞에 있어야 한다는 복잡한 관계를 유지하기 위해서는 생성 과정에서 객체들 사이의 '맥락'이 공유되어야 하며, 기존 방식은 이 부분에서 스타일이 어긋나는 문제가 발생한다. FlowScene은 이를 해결하기 위해 Rectified Flow라는 최신 생성 기법을 그래프 구조와 결합했다. Rectified Flow는 데이터와 노이즈 사이를 직선 경로로 연결하여 학습하므로 기존 Diffusion보다 적은 단계로도 고품질 생성이 가능하다. 여기에 객체 간의 관계를 정의한 그래프를 얹고, 각 생성 단계마다 'InfoExchangeUnit'이라는 모듈이 노드(객체) 간의 정보를 주고받게 함으로써, 한 객체의 형태가 결정될 때 주변 객체의 스타일 정보가 자연스럽게 반영되도록 설계했다. 결과적으로 이 방식은 레이아웃, 형태, 질감이라는 세 가지 핵심 요소를 유기적으로 연결한다. 예를 들어 '같은 스타일'이라는 그래프 에지가 연결되어 있다면, 질감 생성 단계에서 두 가구의 잠재 벡터가 서로 정보를 교환하여 동일한 나무 무늬나 색상을 갖도록 유도한다. 이는 단순한 배치를 넘어 공간 전체의 시각적 완성도를 극적으로 높이는 결과를 낳는다.

전체 아키텍처는 레이아웃(Layout), 형태(Shape), 질감(Texture)을 생성하는 세 개의 독립적인 브랜치로 구성된다. 각 브랜치는 Multimodal Graph Rectified Flow를 공통 백본으로 사용하며, 텍스트 설명이나 이미지 입력을 그래프 노드에 임베딩하여 조건으로 활용한다. 핵심 모듈인 InfoExchangeUnit은 Triplet-GCN 구조를 채택하여 노드와 에지의 정보를 업데이트한다. [현재 노드의 노이즈 상태 D_t와 그래프 특징 G_M을 입력으로] → [Projector와 Concat 연산을 거쳐 노드 특징을 융합하고 GCN 레이어를 통해 이웃 노드와 정보를 교환하여] → [업데이트된 조건 벡터 C_t를 출력하며] → 이는 각 생성 단계에서 전역적인 일관성을 유지하는 가이드 역할을 한다. 학습은 Rectified Flow의 목적 함수를 최소화하는 방향으로 진행된다. [데이터 D_0와 노이즈 D_1 사이의 직선 경로 상의 속도 벡터를 타겟으로] → [모델이 예측한 속도와 실제 차이를 계산하여] → [가중치를 갱신하며] → 이를 통해 모델은 노이즈에서 데이터로 가는 최단 경로를 학습하여 추론 효율성을 극대화한다.

3D-FRONT 및 SG-FRONT 데이터셋에서 평가한 결과, FlowScene은 침실 기준 FID 35.01을 기록하여 기존 SOTA 모델인 MMGDreamer(42.38) 대비 약 17% 성능 향상을 보였다. 특히 스타일 일관성을 측정하는 KID 지표에서 음수(-0.34)를 기록하며 실제 데이터 분포와 매우 유사한 생성이 가능함을 입증했다. 객체 수준의 정밀도 평가에서도 협탁과 램프 카테고리에서 MMD(Minimum Matching Distance)가 각각 43.90%, 41.76% 감소했으며, 이는 생성된 개별 가구의 기하학적 구조가 훨씬 더 정교해졌음을 의미한다. 추론 속도 면에서도 큰 이점을 보였다. 레이아웃과 형태를 병렬로 생성할 때 6.83초가 소요되어 MMGDreamer보다 84.93% 빨랐으며, 텍스처 브랜치를 포함한 전체 생성 과정도 37.38초 내에 완료되어 실시간 응용 가능성을 보여주었다.

FlowScene의 핵심은 Rectified Flow를 그래프 도메인으로 확장한 것이다. 매 타임스텝마다 InfoExchangeUnit이 그래프 에지를 따라 메시지 패싱을 수행하여 노드 간의 상호 의존성을 명시적으로 모델링한다. 레이아웃 브랜치는 3D 바운딩 박스의 위치, 크기, 회전을 사인-코사인 형태로 인코딩하여 생성하며, 형태 브랜치는 VQ-VAE를 통해 복셀화된 3D 구조를 압축된 잠재 코드로 변환하여 처리한다. 질감 브랜치는 DINOv2 특징을 복셀에 투영한 구조적 잠재 변수를 활용한다. InfoExchangeUnit은 5층 레이어의 Triplet-GCN 백본을 사용하며, 각 브랜치마다 독립적인 파라미터를 갖는 전용 유닛(LEU, SEU, TEU)으로 분화된다. 질감 생성 시 'Noise Anchoring' 기법을 도입하여 이미 생성된 기하 구조 위에 가우시안 노이즈를 얹어 질감만 노이즈 제거를 수행함으로써 형태와 질감 사이의 정렬을 보장한다.

현재 구현은 주로 합성 실내 환경 데이터셋에 집중되어 있어 실외 장면으로의 확장성은 아직 검증되지 않았다. 또한 생성 품질이 입력 멀티모달 그래프의 정확도에 크게 의존하므로, 상위 단계의 LLM/VLM이 잘못된 관계를 생성할 경우 최종 장면에서 객체 간 겹침 등의 오류가 발생할 수 있다.