Mesh를 위한 Triangulation-Agnostic Flow Matching에서의 Matérn Noise

메시 데이터는 비정형 삼각분할로 구성되어 학습·생성 시 triangulation 의존성 문제가 제기된다. Matérn Noise를 삼각분할 불변 분포로 활용하고 Flow Matching 프레임워크에 적용하여 denoising을 수행함으로써 다양한 변형을 고해상도 메시에 안정적으로 생성한다. 이를 통해 기존 방법 대비 삼각분할 변화에 대한 일반화 성능을 개선하고, 최대 수십만~백만 삼각Primitive를 가진 메시에 대해 실용적인 생성 가능성을 제시한다.

왜 중요한가

핵심 기여

Triangulation-agnostic mesh generative model

고해상도 메시에 적용 가능한 triangulation-agnostic 생성 모델을 최초로 제시한다. 학습 데이터의 triangulation 변화에도 테스트 시 비슷한 샘플링 분포를 유지한다.

Spectral definition of triangulation-agnostic distributions

스펙트럼 도메인을 통해 triangulation-agnostic 분포를 정의하고, per-frequency 독립성, mesh-invariant frequency statistics, 고주파 에너지의 유한성 등 세 가지 특성을 formalize한다.

Matérn processes as triangulation-agnostic noise

Matérn 프로세스와 그 FEM 이산화를 도입해 triangulation-agnostic 노이즈를 샘플링하는 간단하고 효율적인 알고리즘(Algorithm 1)을 제시한다.

Integration with FM and PoissonNet

Matérn noise를 초기 노이즈로 사용하고, Flow Matching 프레임워크에 triangulation-agnostic denoiser인 PoissonNet을 결합한다. 손실은 vertexvelocity와 Jacobian velocity에 대해 모두 최적화된다.

High-fidelity, scalable mesh deformation

9k~10k 해상도 소스 mesh로 학습하고, 70k~1M 이상의 삼각면을 가지는 고해상도 메시에서 다양한 변형을 생성한다. MOYO 데이터셋과 elastic rest states를 대상으로 평가한다.

핵심 아이디어 이해하기

출발점: 메시 신호 f은 mesh의 vertex에 샘플링된 스칼라 함수이며, 삼각분할이 다르면 신호의 표현이 달라질 수 있다. 기존의 iid Gaussian 노이즈는 triangulation에 민감해 unseen triangulation에서 일반화가 어렵다. 한계: 삼각분할 변화에 따른 분포의 안정성이 필요하다. 해결책: spectral representation에서의 triangulation-agnostic 분포를 정의하고, 연속 공간에서의 Matérn 프로세스를 FEM으로 이산화해 샘플링한다. 이때 bf_i는 고유값 λ_i에 의존하는 독립 분포를 가지며, Var bf_i는 1/(λ_i+τ)^2로 감소한다. 그 뒤 Flow Matching 프레임워크에 Matérn 노이즈를 도입하고, PoissonNet으로 gradient/velocity를 예측해 f_t를 0에서 1로 점진적으로 정제한다. 결과적으로 서로 다른 triangulation에서도 비슷한 샘플 분포를 얻고, 고주파 контent를 제어하면서 고해상도 메시에 대해 다양하고 사실적인 변형을 생성한다.

방법론

단락 1: 전체 접근 방식과 핵심 아이디어 → Mesh M 위의 신호 f ∼ DM을 샘플링하기 위해 Matérn noise를 DMatérn으로 샘플링하고, f_t = (1−t) f0 + t f1 (t ∈ [0,1])를 통해 FM 경로를 구성한다. f0은 Matérn noise 샘플이며 f1은 데이터 샘플. 그다음 f_t의 시간 미분을 velcity v_t를 예측하는 네트워크 F_theta(f_t, t)로 추정하고, ODE: ∂f_t/∂t = F_theta(f_t, t)를 적분해 t=1에서 샘플 f1을 얻는다. 2) 핵심 메커니즘/알고리즘 상세 → PoissonNet은 Jacobian velocity J_t로 예측되며, 이를 Vertex velocity v_t로 변환하기 위해 Poisson의 방정식을 풀이한다. Loss L(θ) = E_t,f0,f1 [ ||M δ − v_t||^2 + ||A ∇δ − J_t||^2 ]를 사용한다. 3) 구현 및 학습 세부사항 → tau = 100 고정 혹은 Algorithm 2의 normalize에 따른 scale-invariance를 적용한다. 알고리즘 1은 Matérn Noise를 샘플링하는 절차를 제공하고, 알고리즘 2는 이를 normalization한다. 학습은 160k 반복, 40k에 걸쳐 학습률 0.0005에서 시작, 이후 0.0001로 감소. 계산은 RTX 4090/H100에서 수행된다. 4) 이론적 기반 → DMatérn은 DbMatérn ≡ N(0, (Λ+τI)^{-2})로 나타나며, bf_i = wb_i / (λ_i+τ)로 정의된다. 이로써 per-frequency independence와 mesh-invariance가 성립한다. 또한 Weyl의 법칙과 위상적 스펙트럼의 이산화 특성을 이용하여 고주파 에너지가 무한히 증가하지 않도록 한다.

주요 결과

단락 1: 메인 벤치마크 결과 → MOYO 데이터셋에서의 64k 샘플에 대해 Table 1의 수치를 제시한다. MDF: MSE 1.411×10^-3, MMD 0.5121, COV 0.051, #params 11.5M; DoubleDiffusion: MSE 0.155, MMD 0.1009, COV 0.387, #params 2.2M; Naïve: MSE 2.52, MMD 0.1365, COV 0.210, #params 1.4M; White noise: MSE 2.91, MMD 0.1499, COV 0.189, #params 1.4M; Explicit: MSE 0.51, MMD 0.0744, COV 0.483, #params 1.4M; Ours (no screening): MSE 0.66, MMD 0.0897, COV 0.418, #params 1.4M; Ours (full): MSE 0.27, MMD 0.0693, COV 0.487, #params 1.4M. 단락 2: Ablation → Fig. 14의 white noise, iid Gaussian 등 대안 노이즈에 대한 성능 저하를 확인하며, Matérn 노이즈의 필수성 확인. 단락 3: 효율성/속도 → 70k 해상도에서의 재포징 속도와 테스트에서의 일반화. Fig. 11에서 해상도에 관계없이 생성 시간이 비슷하게 나타났으며, Figure 12에서 학습 세트에서 가장 가까운 샘플과의 관계를 보인다. 단락 4: GMM 데이터에 대한 비교 → Table 2에서 MDF, DoubleDiffusion과의 비교를 통해 ours가 가장 우수한 결과를 보임.

기술 상세

단락 1: 전체 아키텍처 구조 → FM 기반 흐름-매칭으로 f0(Matérn noise)에서 f1(데이터)로의 시간 경로를 학습한다. f_t = (1−t) f0 + t f1, ∂f_t/∂t = v_t, v_t은 F_theta(f_t, t)로 예측. 단락 2: 수학적/알고리즘적 기반 → DMatérn은 N(0, (Λ+τI)^{-2})이며, bf_i = wb_i / (λ_i+τ), 샘플링은 (L+τM) f = M w를 푸는 것으로 구현된다. 단락 3: Prior work 대비 차별점 → iid Gaussian 노이즈 대신 Matérn 노이즈를 사용하고, PoissonNet 기반의 triangulation-agnostic denoising을 도입한다. 단락 4: 구현 및 학습 세부사항 → tau=100 고정 또는 Algorithm 2의 정규화; MOYO 데이터셋(18k 해상도)의 64k 샘플로 학습; 160k 반복, RTX/H100에서 수행; eigenvector predictor가 arbitrary source에 대한 인코딩으로 사용된다.

한계점

토폴로지 변화에 민감한 Matérn noise의 한계, PoissonNet은 2-manifolds에 한정되는 점, 단일 연결 컴포넌트 메시에 한정된 학습 데이터, 고주파 특성의 지나친 보정으로 인해 경계 근처의 열화가 존재할 수 있음. 또한 현재의 프레임워크는 실시간 렌더링/텍스처 생성에는 직접적 적용이 어렵다.

실무 활용

Matérn noise를 이용한 triangulation-agnostic 샘플링은 다양한 triangulation에 일반화 가능하고, 고해상도 메시에 대해 현실적이고 다양한 변형 생성을 가능하게 한다.

고해상 메시의 변형 공간 재현 및 retargeting
의료/생체 시뮬레이션에서의 실시간 변형 생성
MVC 기반의 mesh 기반 그래픽 파이프라인에의 적용
기존 메시 템플릿으로부터의 파생 모델 생성

코드 공개 여부: 공개

코드 저장소 보기

키워드

flow-matchingtriangulation-agnosticMatérn processGaussian random fieldPoissonNetspectral mesh analysisfinite-element discretizationelastic rest states

용어 해설

삼각분할 무관 분포(Triangulation-agnostic Distribution): — 삼각분할 변경에도 동일하게 작동하도록 신호를 구성하는 확률적 분포를 정의하는 개념으로, 메시의 삼각분할 구성에 의존하지 않는 특성을 갖도록 설계된다.
Matérn 프로세스(Matérn Process): — Gaussian random field의 일종으로, FEM(discretization)으로 이산화될 때 고유한 스펙트럼 구조를 가지며 삼각분할 불변 노이즈를 생성하는 데 이용된다.
Laplacian 고유함수(Laplacian Eigenfunctions): — 메시의 Laplacian 고유벡터들로, 신호의 스펙트럼 표현에서 기저로 작동한다.
스크리닝 포아송 방정식(Screened Poisson Equation): — FEM 이산화에서 노이즈를 스크린링하여 고주파를 조절하는 선형 시스템으로, Matérn 노이즈를 샘플링하는 핵심 연산이다.
PoissonNet: — 그래디언트 영역에서 삼각분할 불변 학습을 수행하는 신경망으로, 흐름 매칭의 속도-방향 벡터를 예측하는 역함수 네트워크이다.

Mesh를 위한 Triangulation-Agnostic Flow Matching에서의 Matérn Noise

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드