LATO.2: 정점과 토폴로지 플로우로 분해한 3D 메시 생성

왜 중요한가

메시 생성은 좌표의 연속성(정점)과 이산적 조합 구조(연결성)를 동시에 다뤄야 하므로 단일 연속 잠재에 섞어 학습할 경우 불연속성·표면 단절이 발생하기 쉬웠다. LATO.2는 이 두 요소를 분리하여 정점 흐름과 정점 조건 토폴로지 흐름으로 처리함으로써 각 분포를 단순화하여 학습을 안정화했다. 그 결과로 파트 단위 고해상도 생성과 정점 편집에 따른 자동 토폴로지 재생성이 가능해져 제작·편집 워크플로에 직접적 이점을 제공한다.

핵심 기여

정점 흐름과 토폴로지 흐름의 분해적 플로우 매칭 파이프라인

LATO.2는 메시 생성을 정점 생성과 정점에 조건화된 연결성 생성으로 분리하여 각각 전용 잠재공간과 flow-matching 모델을 학습한다. 이 분해는 연속적 정점 좌표 분포와 이산적 연결성 분포의 통계적 차이를 분리하여 흐름 학습을 단순화하고 표면 파열을 완화한다. 분리된 설계는 이후 단계에서 정점 변형을 반영한 토폴로지 재생성 등 유연한 편집 워크플로를 가능하게 한다.

서브복셀 오프셋과 희소 복셀 기반 V-VAE로 고정밀 정점 복원

정점을 Vertex Displacement Field(VDF)로 고해상도 복셀에서 집계한 뒤 64^3 희소 라텐트로 압축하고 점진적 분할·가지치기로 복원하는 V-VAE 구조를 도입했다. 복원 단계에서 각 활성 복셀에 대해 서브복셀 오프셋 δ를 회귀하여 양자화 오차를 실수값으로 보정함으로써 정밀도를 크게 개선했다. 오프셋 헤드를 제거한 실험에서 표면 재구성 오차가 유의미하게 증가하여 서브복셀 보정의 중요성이 검증되었다.

정점 정렬형 T-VAE와 정점 조건 토폴로지 플로우로의 연결성 모델링

토폴로지 VAE는 각 정점에 대응하는 퍼-버텍스 잠재를 학습하기 위해 어텐션 마스크로 실제 인접성만 허용하는 adjacency-masked attention을 활용하여 연결성 정보를 정점 토큰에 집적시킨다. 디코더는 사전계산된 퍼-정점 특징을 MLP로 결합하여 대칭성 보장을 위해 양방향 로그잇을 평균해 간선 확률을 예측하고 루프 탐지를 통해 얼굴을 복구한다. 토폴로지 플로우는 실현된 정점을 입력으로 받아 위치 임베딩과 조밀한 3D CNN 컨텍스트를 조건으로 잠재를 샘플링하여 연결성을 생성한다.

파트 단위 고해상도 생성과 토폴로지 적응적 편집 지원

희소 구조를 파트별로 분할하여 각 파트를 전체 라텐트 용량으로 생성하는 파트-와이즈 전략을 통해 동일한 라텐트 용량으로도 더 높은 정점 밀도와 세부 묘사를 확보했다. 정점 편집 시 T-Flow를 재샘플링하면 별도의 최적화나 휴리스틱 없이 새로운 정점 배치에 맞춰 연결성이 자동으로 적응된다. 이 메커니즘은 신속한 부분 보정, 스티칭, 로컬 리파인먼트에 실무적 이점을 제공한다.

핵심 아이디어 이해하기

메시는 연속적인 정점 좌표와 이산적인 연결성(엣지/페이스)을 동시에 포함하는 하이브리드 표현이므로 단일 연속 잠재로 두 신호를 함께 학습하면 서로 다른 통계적 성질이 얽혀 흐름 모델의 학습이 어려워지고 표면 단절 같은 오류가 발생한다. 본 논문은 이 근본적 제약을 해결하기 위해 정점 분포와 연결성 분포를 분해하여 각 요소에 맞는 연속 표현을 만들었다. 정점은 연속량이므로 VDF 기반의 연속 잠재와 서브복셀 오프셋으로 고정밀 복원이 가능하고, 연결성은 실현된 정점 집합에 조건화된 퍼-버텍스 특성의 연속 잠재로 표현할 수 있다.

구체적으로 정점 측은 표면에 균등 샘플된 포인트와 그에 연관된 변위정보를 PointNet으로 임베딩하고, 고해상도 복셀화 후 희소 3D 컨볼루션과 Sparse Transformer로 저해상도 희소 라텐트(예: 64^3, 채널 32)를 얻는다. 그 라텐트는 점진적 복셀 분할과 pruning을 통해 활성 셀을 확장하고 각 활성 셀에서 서브복셀 오프셋 δ를 회귀하여 복셀 중심에서 실제 정점 위치로 미세 보정한다. 연결성 측은 실현된 정점 토큰에 대해 인접성 마스크를 적용한 Transformer 인코더로 퍼-버텍스 라텐트를 학습하고, 디코더의 퍼-버텍스 특징을 두 정점의 MLP 결합으로 점별 엣지 확률로 변환하여 최종 페이스를 복원한다.

이 분해는 두 가지 실용적 이득을 낳는다. 첫째, 각 플로우가 더 균질한 분포를 모델링하므로 학습 안정성과 샘플 품질이 향상되어 기하학적 충실도와 토폴로지 일관성이 둘 다 개선된다. 둘째, 정점이 먼저 실현되므로 사용자 지정 정점 수 제어, 파트 단위 고해상도 생성, 정점 편집 후의 자동 토폴로지 재생성 같은 워크플로가 자연스럽게 구현된다.

방법론

전체 파이프라인은 V-VAE와 T-VAE라는 두 개의 구조화된 오토인코더와 그들 위에서 학습되는 V-Flow 및 T-Flow라는 두 개의 flow-matching 생성기로 구성된다. 입력 조건(이미지 또는 포인트클라우드)은 먼저 TRELLIS 계열의 구조 생성기로부터 희소한 활성 복셀 지지(𝒮^)를 샘플링하는 데 사용되고, 이 지지는 V-Flow에서 정점 라텐트를 샘플할 공간적 지원으로 작동한다. V-Flow는 DINOv2로 추출한 이미지 피처와 로그스케일 정점 수 조건 c_vn=log2 N을 함께 받아 rectified-flow 목표로 학습된다.

V-VAE는 표면에서 K=819,200 포인트를 샘플링하여 각 포인트의 위치·법선·정점 변위(d)를 PointNet으로 임베딩한 뒤 고해상도(논문 구현: 1024^3)에서 희소 집계해 64^3×32 채널의 라텐트로 압축한다. 디코더는 점진적 업샘플링과 활성 복셀 pruning을 거쳐 각 활성 셀에서 오프셋 δ를 회귀함으로써 서브복셀 정밀도를 회복한다. 학습 손실은 단계별 pruning을 위한 asymmetric focal loss, 오프셋 회귀 MSE, 그리고 KL 정규화의 합으로 정의된다.

T-VAE는 실현된 정점 집합을 퍼-버텍스 토큰으로 받아 positional encoding 후 adjacency-masked self-attention을 적용하여 각 정점의 라텐트를 학습한다. 마스크 M_{ij}는 실제 인접 정점과 자기 자신만 허용하고 나머지는 −∞로 차단하여 어텐션을 통해 연결성 정보를 라텐트에 흡수하게 만든다. 디코더는 unmasked self-attention으로 퍼-버텍스 특징 h_i를 복원하고, 두 정점의 특징을 양방향 MLP로 평가해 시그모이드로 간선 확률을 출력하며 대칭성을 로그잇 평균으로 보장한다.

V-Flow와 T-Flow는 모두 rectified-flow 목표(노이즈 보간 z^τ=(1−τ)z+τϵ에 대해 vθ(z^τ,τ,cond)≈ϵ−z)를 사용해 학습된다. T-Flow는 정점 위치를 토큰에 직접 포함시키고 coarse 3D CNN 컨텍스트 c_g를 추가 조건으로 사용하며, 실무적으로는 attention의 안정화를 위해 쿼리/키에 RMS normalization을 적용한다. 디코더 단계에서 모든 정점 쌍을 점수화하면 O(N^2)이지만 논문은 후보 집합 C(실제 이웃·top-K 근접·랜덤 네거티브)를 사용해 학습 효율을 확보한다.

관련 Figure

Diagram
이 그림은 전체 아키텍처의 구성 요소와 데이터 흐름을 한눈에 확인할 수 있게 하고, 특히 V-VAE가 복셀 기반의 희소 라텐트에서 서브복셀 오프셋을 회귀하는 점과 T-VAE가 정점 조건의 퍼-버텍스 라텐트를 복원해 간선 확률을 예측하는 점을 시각적으로 제시한다. 이미지 조건과 정점 수 조건(c_vn)의 주입 지점, 그리고 파트별 생성 및 토폴로지 재샘플링 경로가 명확히 표기되어 논문의 방법론 전개와 직접 연결된다.
파이프라인 다이어그램으로 V-VAE와 T-VAE 및 각 흐름(V-Flow, T-Flow)의 상호작용과 입력·출력을 개괄적으로 나타낸다.

Diagram
이 그림은 파트-와이즈 생성 절차를 단계별로 분해하여 각 파트가 전체 라텐트 용량을 어떻게 활용하는지와 파트별로 생성된 정점들이 어떻게 다시 결합되어 T-Flow로 연결성이 생성되는지를 시각적으로 표현한다. 파트 정규화와 이미지·파트 피처의 교차 어텐션을 통해 파트별 세부 묘사가 향상되는 설계 의도를 보강한다.
파트 단위 생성 파이프라인을 보여주는 다이어그램으로 구조 플래너, 파트 정규화, 파트별 V-Flow 적용 및 토폴로지 스티칭 과정을 나타낸다.

주요 결과

정량평가에서 LATO.2는 기존 토폴로지 인지형 잠재-플로우 방법들을 능가했다. 표 2의 비교에서 본 방법은 CD(L2)=0.0407, CD(L1)=0.0596, HD=0.0657, NC=0.8341을 기록하여 LATO(Flow) 및 MeshFlow보다 모든 주요 지표에서 우수한 값을 보였다. V-VAE의 성능 비교(표 1)에서는 1024 복셀 해상도에 서브복셀 오프셋 δ를 더한 구성으로 CD/HD가 유의미하게 감소하여 양자화 오류 보정의 효과가 수치적으로 확인되었다.

토폴로지 측정에서 GT-Verts + T-VAE가 상한을 제공했으며, T-Flow는 GT 정점을 조건으로 할 때 성능 저하가 작아 샘플링 과정의 오차가 제한적임이 확인되었다(표 3). V-Flow에서 생성된 정점과 결합했을 때도 전체 파이프라인은 여전히 최상위 계열의 메트릭을 유지하여 분해된 설계가 실전 생성 상황에서도 이득을 준다는 근거가 확보되었다.

공개된 정성 결과와 갤러리에서는 파트-와이즈 생성 시 정점 수 제약을 넘어서는 높은 밀도의 메시를 생성하고, 정점 편집 후 T-Flow 재샘플링으로 교차부의 연결성을 자동으로 복원하는 사용 사례가 제시되었다. Ablation 결과는 오프셋 헤드와 희소-구조 조건이 각각 표면 정밀도와 연결성 일관성에 실질적 기여를 한다고 보고되었다.

관련 Figure

Infographic
이 그림은 같은 입력 이미지 조건 하에서 정점 수 및 조건 강도(이미지 정보량)에 따라 파생되는 메시의 세부 수준과 면 개수 변화가 어떻게 달라지는지를 정량적 표기(Part Num, Face Num)와 함께 제시한다. 해당 시각화는 V-Flow의 정점 수 조건과 이미지 컨텍스트가 생성 해상도와 토폴로지 복잡성에 직접적인 영향을 준다는 점을 실무적으로 입증한다.
조건 강도(이미지 컨디션)와 정점 수에 따른 생성 결과 예시를 모아 낮음-중간-높음 조건에서의 정점 수 및 면 수 변화를 보여준다.

Infographic
이 비교도는 자율적 토크나이제이션 방식에서 나타나는 표면 결손과 불완전한 연결성 문제를 보여주고, LATO.2가 더 완전한 표면 보존과 정돈된 연결성을 유지함을 직관적으로 대비시킨다. 시각적 결과는 표 2의 정량 지표와 일관되어 분해 설계가 형태 보존과 토폴로지 품질에 기여함을 보강한다.
기존 자율적(Autoregressive) 방법들과 MeshFlow/LATO 등 flow 기반 방법 및 본 방법의 정성 비교를 행렬 형태로 제시한 그림이다.

Infographic
이 시각화는 c_vn=log2 N 조건이 실제 생성 결과의 정점 밀도와 표면 세부에 직접적인 영향을 미치며, 토폴로지 플로우가 정점 수 변화에 맞춰 연결성을 자동으로 적응시킴을 직관적으로 확인시킨다. 따라서 사용자 지정 해상도 제어가 실전 제작 요구에 부합함을 보인다.
정점 수 제어에 따른 동일 객체의 여러 해상도 생성 결과를 연속적으로 배치하여 보여준다.

기술 상세

전체 아키텍처는 V-VAE(정점 분기)와 T-VAE(토폴로지 분기), 그리고 두 흐름 생성기(V-Flow, T-Flow)로 구성되어 있다. V-VAE는 표면 포인트 K=819,200을 입력으로 PointNet 임베딩을 수행한 뒤 1024^3 해상도에서 희소 집계를 통해 64^3×32 채널의 희소 라텐트를 형성하고 점진적 업샘플 및 활성 복셀 pruning으로 정점을 복원한다. 최종 복원시 각 활성 복셀에서 δ를 회귀하여 서브복셀 정밀도를 달성하며 손실은 단계별 asymmetric focal pruning loss, offset MSE, KL로 합산된다.

T-VAE는 실현된 정점 집합을 좌표 positional encoding과 함께 퍼-버텍스 토큰으로 넣고 adjacency-masked self-attention으로 인접성 정보를 라텐트에 주입한다. 디코더는 unmasked self-attention으로 퍼-버텍스 특징 h_i를 출력하고, 두 정점의 특징 결합을 양방향 MLP로 평가해 대칭 엣지 확률을 산출한다. 훈련시 모든 N^2 쌍을 평가하지 않기 위해 후보 집합 C를 구성하는데, 여기에는 실제 이웃(positive), top-K 근접(하드 네거티브), 무작위 샘플(이지 네거티브)이 포함된다.

V-Flow는 TRELLIS 계열의 sparse Flow Matching Transformer를 채택하며 DINOv2 이미지 피처와 정점 수 조건 c_vn=log2 N을 adaLN으로 주입한다. T-Flow는 실현된 정점을 직접 토큰으로 포함시키며 coarse 3D CNN 컨텍스트 c_g를 조건으로 사용하고 attention 안정화를 위해 쿼리·키에 RMS normalization을 적용한다. 두 흐름의 학습 목적은 rectified-flow(노이즈 보간과 벡터장 학습)으로 동일하게 설정된다.

구현 및 학습 스펙은 V-VAE 약 320M 파라미터, V-Flow 160M, T-VAE 180M, T-Flow 240M이며 AdamW lr=1e-4로 최적화했다. 데이터는 TRELLIS500K, Objaverse 계열, 3D-FUTURE, Toys4K, ABO 등을 포함해 약 450K 자산과 추가로 생성한 100K 합성 메시로 학습했다. 학습은 8×NVIDIA H100 환경에서 수행되었고 V-Flow는 7일, T-Flow는 2일, V-VAE/T-VAE는 각각 4일/1일 규모로 훈련되었다.

관련 Figure

Chart
그림은 오프셋 회귀가 없는 경우와 있는 경우의 표면 오차 차이를 컬러맵으로 제시하여 오프셋 헤드가 연속 정점 위치 정밀도에 미치는 영향을 수치적·시각적으로 입증한다. 또한 T-VAE의 재구성 결과는 토폴로지 라텐트가 원래 연결성을 효과적으로 저장·복원할 수 있음을 보여주며, 이는 이후 플로우 기반 샘플링의 상한 역할을 한다.
V-VAE와 T-VAE의 재구성 성능을 시각화한 그림으로, V-VAE의 오프셋 유무에 따른 표면 오차와 T-VAE의 토폴로지 복원이 포함되어 있다.

한계점

토폴로지 생성 단계는 실현된 정점 집합을 전제로 하기 때문에 정점 단계에서 발생한 기하학적 오류는 토폴로지 단계에서 자동으로 수정되지 않는다. 토폴로지 디코딩은 정점 쌍을 평가하는 부분에서 이차적 복잡도 O(N^2)를 내포하여 매우 큰 메시에서는 후보 샘플링 기법이 필수적이다. 또한 현재 구현은 UV, 텍스처, 재질 같은 제작에 필요한 외형 속성은 생성 대상에서 제외되어 별도 파이프라인이 필요하다.

실무 활용

LATO.2는 아티스트 수준의 정점 배치와 일관된 면 연결성을 요구하는 제작 파이프라인에서 바로 활용 가능하다. 파트 단위 고해상도 생성 기능과 정점 편집에 따른 자동 토폴로지 재생성은 리깅·애니메이션 전처리, 게임용 저비용 메시 생성, 대규모 자산의 자동화된 디테일 보강에 유용하다. 공개 리포지토리로부터 모델과 코드가 제공되어 연구·실무용 실험 소재로 활용할 수 있다.

생성 모델로부터 바로 애니메이션 친화적 토폴로지를 가진 3D 자산을 생성하여 리깅과 스킨 바인딩 이전 단계의 수작업을 감소시킬 수 있다.
기존 메시의 일부분을 높은 정점 밀도로 재생성한 뒤 T-Flow로 자동 스티칭하여 로컬 리파인먼트와 교체 작업을 자동화할 수 있다.
이미지 또는 포인트클라우드 조건으로부터 다양한 해상도 목표를 지정해 저해상도 프로토타입부터 최종 고해상도 모델까지 연속적으로 생성·시험할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

관련 Figure

Photo
갤러리는 파트-와이즈 생성이 단일 라텐트로 생성된 것보다 더 높은 면 수와 세부 묘사를 확보할 수 있음을 시각적으로 보여준다. 다양한 객체군을 포함한 사례들은 모델의 일반화 능력과 파트 분해 전략이 복잡한 형상에도 적용 가능함을 시사한다.
논문에서 생성한 다양한 카테고리의 메시 갤러리로 단일-파트 및 멀티-파트 생성 결과를 포함한다.

키워드

flow-matching(플로우 매칭)vertex-displacement-field(정점 변위장)sparse-voxel-latent(희소 복셀 라텐트)adjacency-masked-attention(인접성 마스크 어텐션)vertex-conditioned-topology(정점 조건 토폴로지)part-wise-generation(파트별 고해상도 생성)

용어 해설

정점 변위장(Vertex Displacement Field (VDF)): — 메시 표면에서 샘플한 점마다 그 점이 가리키는 인접 정점으로의 변위를 저장한 연속 함수로, 정점들의 위치를 격자화된 지원 위에 연속적으로 압축·복원할 수 있게 하여 순서없는 정점 집합을 VAE로 처리하는 데 쓰인다.
플로우 매칭(Flow Matching): — 확률 분포 샘플링을 연속 시간 노이즈 보간으로 다루는 학습 목표로, 노이즈로 변형된 잠재벡터에 대해 역방향 벡터장을 학습하여 정교한 샘플링을 가능하게 하는 생성 기법이다.
희소 복셀 라텐트(Sparse Voxel Latent): — 고해상도 표면 증거를 희소한 3D 복셀 그리드에 집계하고 이를 저해상도 잠재 표현으로 압축한 구조로, 복셀 단위의 활성 셀만 처리하여 연산·메모리 효율을 확보한다.
인접성 마스크 어텐션(Adjacency-Masked Attention): — 토폴로지 정보를 어텐션 마스크로 주입하여 각 정점 토큰이 자기 자신과 실제 인접 정점만 볼 수 있게 제한하는 자기인코더 방식으로, 연결성을 정점별 잠재에 집적시키는 방법이다.

LATO.2: 정점과 토폴로지 플로우로 분해한 3D 메시 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드