Meshy T2: 흐름 매칭 기반 네이티브 메시 생성

왜 중요한가

이미지-기반 3D 자산 생성은 게임·영화·실시간 렌더링에서 폴리곤 예산과 아티스트가 요구하는 토폴로지 품질을 동시에 만족해야 실무에 바로 투입될 수 있습니다. Meshy T2는 정점 단위 잠재 표현과 흐름 기반 병렬 합성을 결합해 정밀한 기하와 명시적 연결성을 보존하면서 생성 지연을 초저지연 수준으로 줄입니다. 결과적으로 실시간 인터랙티브 워크플로우에서 얼굴 수 제어와 멀티파트 분해를 직접 지원하는 점이 실용적 가치입니다.

핵심 기여

정점-셋 VAE로 무손실 토폴로지 인코딩

정점마다 하나의 연속 잠재 토큰을 대응시키는 VAE를 설계해 좌표 양자화와 정점 용접을 피합니다. 디코더는 단일 패스에서 정점 좌표, 무향 간선, 그리고 반엣지 계승 순열을 복원해 원본 기하와 아티스트-작성 토폴로지를 보존합니다. 이로써 후처리 없는 가용한 아티스트 스타일 메시가 생성됩니다.

이미지조건 복셀 흐름 + 메시 흐름의 2단계 흐름 매칭 파이프라인

첫 단계에서 복셀 VAE 잠재 공간에 대해 이미지 조건의 흐름을 학습해 64^3 점유 스캐폴드를 생성합니다. 두 번째 단계에서 생성된 스캐폴드와 이미지, 그리고 요청한 정점 예산을 입력으로 받아 정점 잠재 집합을 흐름으로 병렬 샘플링합니다. 이 coarse-to-fine 구성은 전역 형태 정렬과 세부 토폴로지 설계를 분리해 학습 난이도를 낮춥니다.

정점 수 예산을 통한 실용적 면수 제어

정점-레벨 잠재 슬롯 개수를 샘플링해 디코딩 전에 사용자가 정점 예산을 지정할 수 있게 합니다. 학습에는 패딩 토큰과 존재 채널을 도입해 모델이 불필요 슬롯을 끌 수 있도록 학습하므로 추론시 지정 예산 내에서 정점 수를 안정적으로 맞출 수 있습니다. 이 방식은 후처리 단순화와 예산 예측 가능성을 동시에 제공합니다.

Sobol 기반 위치 할당과 최적수송으로 비순서성 해결

순서가 없는 잠재 슬롯에 3D RoPE 위치를 부여하기 위해 Sobol 후보를 만들고 훈련 시 실제 정점과 최소제곱 비용으로 최적수송(OT) 할당을 수행합니다. 이 할당은 생성 불확실성과 동등한 퍼뮤테이션 평균화를 제거해 수렴 속도와 검증 지표를 모두 향상시킵니다. 실험에서 Chamfer와 Hausdorff가 유의미하게 개선되었습니다.

핵심 아이디어 이해하기

메시 생성에서 가장 큰 어려움은 메시가 본질적으로 비순서적이며 정점과 면이 상호결합되어 있다는 점입니다. Meshy T2는 정점 단위 잠재 집합을 설계해 메시의 원자 단위를 latent token으로 만들고, 순차적 토큰 샘플링 대신 흐름 기반 병렬 합성을 사용해 모든 정점을 동시에 생성합니다. 또한 이미지로부터 전역 형태를 먼저 확보하는 복셀 스캐폴드와 그것을 바탕으로 토폴로지를 채우는 두 단계 흐름을 분리해 조건부 불확실성을 줄입니다.

방법론

학습은 세 부분으로 구성됩니다. 첫째, 64^3 점유 그리드를 8채널·16^3 잠재 그리드로 압축하는 복셀 VAE를 학습해 이미지 조건의 스캐폴드 표현을 만들고, 둘째, 정점-셋 VAE는 각 정점을 하나의 C=32 채널 잠재로 인코딩해 디코더가 좌표·간선·면을 한 번에 복원할 수 있게 학습합니다. 셋째, 두 단계 흐름(복셀 흐름과 메시 흐름)은 flow-matching(velocity prediction)으로 학습되며, 메시 흐름은 DiT 단일 스트림에 이미지(DINOv3), 복셀 토큰, 시간 및 정점 수 조건을 결합해 병렬로 정점 잠재를 생성합니다. 훈련에서는 Sobol OT로 위치 PE를 부여하고, 존재 채널과 패딩 전략으로 정점 수 범위 제어를 구현합니다.

주요 결과

정량평가에서 Meshy T2는 고해상 리토폴로지 과제에서 Chamfer 0.020, Hausdorff 0.044, Normal Consistency 0.860을 기록해 비교군 중 최고 기하 정합을 달성했습니다. 이미지-투-메시 과제에서는 DINOv2 기반 Fréchet Distance에서 경쟁적 성능을 보였고, 전체 엔드투엔드 중간 시간은 이미지-투-메시에서 6초, 리토폴로지에서는 3초로 저지연을 확보했습니다. 위치 인코딩 실험에서는 Sobol OT가 Chamfer를 0.0127→0.0070으로, Hausdorff를 0.0783→0.0225로 크게 낮추어 수렴과 검증 지표 모두 개선되었습니다.

기술 상세

정점-셋 VAE 인코더는 포인트-넷 기반 복셀 컨텍스트와 정점 쿼리를 결합해 교차-어텐션, 그래프-어텐션(실제 간선에 제한), 셀프-어텐션을 교차로 쌓아 각 정점을 C=32 차원 잠재로 투사합니다. 디코더는 공유된 12블록 셀프-어텐션 트렁크와 정점/토폴로지 브랜치(각 4블록)를 사용해 좌표, 에지(de=16) 임베딩, 면(df=16) 임베딩을 예측하고 Sinkhorn(10회)으로 근사 순열을 만듭니다. 복셀 흐름은 Voxel VAE(8채널, 16^3 잠재, KL=1e-4)를 고정하고 Transformer(hidden=1536, 28 blocks, 12 heads)로 velocity를 학습합니다. 메시 흐름은 DiT 단일 스트림으로 이미지(DINOv3 768×768 패치), 복셀 토큰(4096), Sobol OT로 할당된 잠재 위치, 타임·카운트 임베딩을 통합해 속도를 예측합니다. 학습 속도 개선을 위해 CSR 정렬 기반의 연속 세그먼트 리듀스와 FSDP2 토큰-캡 배치 전략이 사용되었습니다.

한계점

논문은 복잡하거나 매우 비정형적인 원본 토폴로지에 대해 여전히 취약점이 남아 있음을 인정합니다. 데이터셋이 커버하지 않는 정점 수·형태 분포에서는 정확한 정점 수 제어가 어렵고 범위 제어로 완화할 필요가 있습니다. 또한 현재 평가는 단일 오브젝트 이미지에 집중되어 있어 장면 단위 다중 객체 생성과 재질·파츠 수준 제어는 향후 과제로 남아 있습니다.

실무 활용

Meshy T2는 이미지 입력만으로 실무 수준의 컴팩트 메시를 짧은 시간 내에 생성해 실시간 콘텐츠 제작 파이프라인에 투입할 수 있는 워크플로우를 지원합니다. 사용자 정의 정점 예산을 통해 렌더링·메모리·레벨오브디테일 요구를 직접 충족할 수 있고, 생성물이 아티스트-호환 토폴로지를 유지하므로 후처리가 최소화됩니다. 멀티파트 자산은 별도 분할 없이 자연스럽게 연결 성분으로 출력되어 파이프라인 통합이 용이합니다.

게임과 실시간 엔진의 로우-폴리곤 자산을 이미지에서 즉시 생성해 프로토타입을 빠르게 제작할 때 유용합니다.
대규모 데이터 파이프라인에서 사진 기반 자산을 자동으로 생성하고 크기 제한(모바일/실시간 예산)에 맞춰 출력할 때 실무 비용을 절감할 수 있습니다.
아티스트가 만든 고해상 모델의 리토폴로지(retopology) 단계에서 원본 기하를 유지한 채 아티스트 스타일의 토폴로지로 빠르게 변환할 때 활용할 수 있습니다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

image-to-meshvertex-set VAEflow matchingSobol OTvoxel VAEDiTDINOv3

용어 해설

흐름 매칭(Flow Matching): — 흐름 매칭은 연속시간 확률 흐름을 이용해 노이즈에서 깨끗한 데이터로의 역방향 속도를 학습하는 방법입니다. 입력으로 시간 t에서의 노이즈 상태와 조건을 받아 속도(velocity)를 예측하고 역적분으로 샘플을 생성합니다. Meshy T2에서는 이 방법을 다수의 병렬 토큰 생성에 적용해 순차적 디코딩 비용을 피합니다.
정점-셋 VAE(Vertex-set VAE): — 정점-셋 VAE는 각 정점마다 하나의 연속 잠재 토큰을 대응시키는 오토인코더 구조입니다. 디코더는 이 잠재 집합만으로 정점 좌표, 무향 간선, 그리고 반엣지 계승순서를 동시에 복원합니다. 이 설계는 좌표 양자화나 정점 용접을 피해 원본의 정밀한 기하와 아티스트 토폴로지를 보존합니다.
복셀 VAE(Voxel VAE): — 복셀 VAE는 64^3 이진 점유 그리드를 공간적 잠재 그리드(8채널, 16^3 해상도)로 압축하는 3D 컨볼루션 VAE입니다. 학습 후 잠재 평균을 고정 표현으로 사용해 흐름 모델이 더 압축된 연속 공간을 생성하도록 돕습니다. 이 단계는 글로벌 형태와 이미지 정렬을 먼저 확정하는 용도로 쓰입니다.
Sobol 최적수송(OT)(Sobol OT): — Sobol OT는 Sobol 점 집합을 잠재 슬롯의 위치 후보로 사용하고, 실제 정점 좌표와 제곱거리 비용을 최소화하는 최적수송으로 후보와 정점을 대응시키는 방식입니다. 학습 중에는 이 할당을 통해 각 비순서성(latent slot)에 3D RoPE 위치를 부여합니다. 논문 결과에서는 이 기법이 Chamfer·Hausdorff·비매니폴드 비율을 크게 낮춥니다.
반엣지 계승 순열(Halfedge Successor Permutation): — 반엣지 계승 순열은 각 정점의 이웃 간선을 따라 삼각형 팬의 순서를 나타내는 매핑입니다. 각 정점 i에 대해 이웃 p가 다음에 올 이웃 n을 가리키는 함수 π_i를 예측하면 방향성 있는 면 집합을 무손실로 인코딩할 수 있습니다. 열린 경계는 NULL 요소를 도입해 정확히 표현합니다.