LATO.2: 정점과 토폴로지 플로우로 분해한 3D 메시 생성

메시 생성은 좌표의 연속성(정점)과 이산적 조합 구조(연결성)를 동시에 다뤄야 하므로 단일 연속 잠재에 섞어 학습할 경우 불연속성·표면 단절이 발생하기 쉬웠다. LATO.2는 이 두 요소를 분리하여 정점 흐름과 정점 조건 토폴로지 흐름으로 처리함으로써 각 분포를 단순화하여 학습을 안정화했다. 그 결과로 파트 단위 고해상도 생성과 정점 편집에 따른 자동 토폴로지 재생성이 가능해져 제작·편집 워크플로에 직접적 이점을 제공한다.

메시는 연속적인 정점 좌표와 이산적인 연결성(엣지/페이스)을 동시에 포함하는 하이브리드 표현이므로 단일 연속 잠재로 두 신호를 함께 학습하면 서로 다른 통계적 성질이 얽혀 흐름 모델의 학습이 어려워지고 표면 단절 같은 오류가 발생한다. 본 논문은 이 근본적 제약을 해결하기 위해 정점 분포와 연결성 분포를 분해하여 각 요소에 맞는 연속 표현을 만들었다. 정점은 연속량이므로 VDF 기반의 연속 잠재와 서브복셀 오프셋으로 고정밀 복원이 가능하고, 연결성은 실현된 정점 집합에 조건화된 퍼-버텍스 특성의 연속 잠재로 표현할 수 있다.

구체적으로 정점 측은 표면에 균등 샘플된 포인트와 그에 연관된 변위정보를 PointNet으로 임베딩하고, 고해상도 복셀화 후 희소 3D 컨볼루션과 Sparse Transformer로 저해상도 희소 라텐트(예: 64^3, 채널 32)를 얻는다. 그 라텐트는 점진적 복셀 분할과 pruning을 통해 활성 셀을 확장하고 각 활성 셀에서 서브복셀 오프셋 δ를 회귀하여 복셀 중심에서 실제 정점 위치로 미세 보정한다. 연결성 측은 실현된 정점 토큰에 대해 인접성 마스크를 적용한 Transformer 인코더로 퍼-버텍스 라텐트를 학습하고, 디코더의 퍼-버텍스 특징을 두 정점의 MLP 결합으로 점별 엣지 확률로 변환하여 최종 페이스를 복원한다.

이 분해는 두 가지 실용적 이득을 낳는다. 첫째, 각 플로우가 더 균질한 분포를 모델링하므로 학습 안정성과 샘플 품질이 향상되어 기하학적 충실도와 토폴로지 일관성이 둘 다 개선된다. 둘째, 정점이 먼저 실현되므로 사용자 지정 정점 수 제어, 파트 단위 고해상도 생성, 정점 편집 후의 자동 토폴로지 재생성 같은 워크플로가 자연스럽게 구현된다.

전체 파이프라인은 V-VAE와 T-VAE라는 두 개의 구조화된 오토인코더와 그들 위에서 학습되는 V-Flow 및 T-Flow라는 두 개의 flow-matching 생성기로 구성된다. 입력 조건(이미지 또는 포인트클라우드)은 먼저 TRELLIS 계열의 구조 생성기로부터 희소한 활성 복셀 지지(𝒮^)를 샘플링하는 데 사용되고, 이 지지는 V-Flow에서 정점 라텐트를 샘플할 공간적 지원으로 작동한다. V-Flow는 DINOv2로 추출한 이미지 피처와 로그스케일 정점 수 조건 c_vn=log2 N을 함께 받아 rectified-flow 목표로 학습된다.

V-VAE는 표면에서 K=819,200 포인트를 샘플링하여 각 포인트의 위치·법선·정점 변위(d)를 PointNet으로 임베딩한 뒤 고해상도(논문 구현: 1024^3)에서 희소 집계해 64^3×32 채널의 라텐트로 압축한다. 디코더는 점진적 업샘플링과 활성 복셀 pruning을 거쳐 각 활성 셀에서 오프셋 δ를 회귀함으로써 서브복셀 정밀도를 회복한다. 학습 손실은 단계별 pruning을 위한 asymmetric focal loss, 오프셋 회귀 MSE, 그리고 KL 정규화의 합으로 정의된다.

T-VAE는 실현된 정점 집합을 퍼-버텍스 토큰으로 받아 positional encoding 후 adjacency-masked self-attention을 적용하여 각 정점의 라텐트를 학습한다. 마스크 M_{ij}는 실제 인접 정점과 자기 자신만 허용하고 나머지는 −∞로 차단하여 어텐션을 통해 연결성 정보를 라텐트에 흡수하게 만든다. 디코더는 unmasked self-attention으로 퍼-버텍스 특징 h_i를 복원하고, 두 정점의 특징을 양방향 MLP로 평가해 시그모이드로 간선 확률을 출력하며 대칭성을 로그잇 평균으로 보장한다.

V-Flow와 T-Flow는 모두 rectified-flow 목표(노이즈 보간 z^τ=(1−τ)z+τϵ에 대해 vθ(z^τ,τ,cond)≈ϵ−z)를 사용해 학습된다. T-Flow는 정점 위치를 토큰에 직접 포함시키고 coarse 3D CNN 컨텍스트 c_g를 추가 조건으로 사용하며, 실무적으로는 attention의 안정화를 위해 쿼리/키에 RMS normalization을 적용한다. 디코더 단계에서 모든 정점 쌍을 점수화하면 O(N^2)이지만 논문은 후보 집합 C(실제 이웃·top-K 근접·랜덤 네거티브)를 사용해 학습 효율을 확보한다.

정량평가에서 LATO.2는 기존 토폴로지 인지형 잠재-플로우 방법들을 능가했다. 표 2의 비교에서 본 방법은 CD(L2)=0.0407, CD(L1)=0.0596, HD=0.0657, NC=0.8341을 기록하여 LATO(Flow) 및 MeshFlow보다 모든 주요 지표에서 우수한 값을 보였다. V-VAE의 성능 비교(표 1)에서는 1024 복셀 해상도에 서브복셀 오프셋 δ를 더한 구성으로 CD/HD가 유의미하게 감소하여 양자화 오류 보정의 효과가 수치적으로 확인되었다.

토폴로지 측정에서 GT-Verts + T-VAE가 상한을 제공했으며, T-Flow는 GT 정점을 조건으로 할 때 성능 저하가 작아 샘플링 과정의 오차가 제한적임이 확인되었다(표 3). V-Flow에서 생성된 정점과 결합했을 때도 전체 파이프라인은 여전히 최상위 계열의 메트릭을 유지하여 분해된 설계가 실전 생성 상황에서도 이득을 준다는 근거가 확보되었다.

공개된 정성 결과와 갤러리에서는 파트-와이즈 생성 시 정점 수 제약을 넘어서는 높은 밀도의 메시를 생성하고, 정점 편집 후 T-Flow 재샘플링으로 교차부의 연결성을 자동으로 복원하는 사용 사례가 제시되었다. Ablation 결과는 오프셋 헤드와 희소-구조 조건이 각각 표면 정밀도와 연결성 일관성에 실질적 기여를 한다고 보고되었다.

전체 아키텍처는 V-VAE(정점 분기)와 T-VAE(토폴로지 분기), 그리고 두 흐름 생성기(V-Flow, T-Flow)로 구성되어 있다. V-VAE는 표면 포인트 K=819,200을 입력으로 PointNet 임베딩을 수행한 뒤 1024^3 해상도에서 희소 집계를 통해 64^3×32 채널의 희소 라텐트를 형성하고 점진적 업샘플 및 활성 복셀 pruning으로 정점을 복원한다. 최종 복원시 각 활성 복셀에서 δ를 회귀하여 서브복셀 정밀도를 달성하며 손실은 단계별 asymmetric focal pruning loss, offset MSE, KL로 합산된다.

T-VAE는 실현된 정점 집합을 좌표 positional encoding과 함께 퍼-버텍스 토큰으로 넣고 adjacency-masked self-attention으로 인접성 정보를 라텐트에 주입한다. 디코더는 unmasked self-attention으로 퍼-버텍스 특징 h_i를 출력하고, 두 정점의 특징 결합을 양방향 MLP로 평가해 대칭 엣지 확률을 산출한다. 훈련시 모든 N^2 쌍을 평가하지 않기 위해 후보 집합 C를 구성하는데, 여기에는 실제 이웃(positive), top-K 근접(하드 네거티브), 무작위 샘플(이지 네거티브)이 포함된다.

V-Flow는 TRELLIS 계열의 sparse Flow Matching Transformer를 채택하며 DINOv2 이미지 피처와 정점 수 조건 c_vn=log2 N을 adaLN으로 주입한다. T-Flow는 실현된 정점을 직접 토큰으로 포함시키며 coarse 3D CNN 컨텍스트 c_g를 조건으로 사용하고 attention 안정화를 위해 쿼리·키에 RMS normalization을 적용한다. 두 흐름의 학습 목적은 rectified-flow(노이즈 보간과 벡터장 학습)으로 동일하게 설정된다.

구현 및 학습 스펙은 V-VAE 약 320M 파라미터, V-Flow 160M, T-VAE 180M, T-Flow 240M이며 AdamW lr=1e-4로 최적화했다. 데이터는 TRELLIS500K, Objaverse 계열, 3D-FUTURE, Toys4K, ABO 등을 포함해 약 450K 자산과 추가로 생성한 100K 합성 메시로 학습했다. 학습은 8×NVIDIA H100 환경에서 수행되었고 V-Flow는 7일, T-Flow는 2일, V-VAE/T-VAE는 각각 4일/1일 규모로 훈련되었다.

토폴로지 생성 단계는 실현된 정점 집합을 전제로 하기 때문에 정점 단계에서 발생한 기하학적 오류는 토폴로지 단계에서 자동으로 수정되지 않는다. 토폴로지 디코딩은 정점 쌍을 평가하는 부분에서 이차적 복잡도 O(N^2)를 내포하여 매우 큰 메시에서는 후보 샘플링 기법이 필수적이다. 또한 현재 구현은 UV, 텍스처, 재질 같은 제작에 필요한 외형 속성은 생성 대상에서 제외되어 별도 파이프라인이 필요하다.