MeshFlow: triangle soups 형태로 삼각형 메시를 생성하는 Equivariant Optimal-Transport Flow Matching

메시 생성은 3D 장면 표현에서 핵심적이지만, face/vertex 순서의 대칭성 때문에 직접 생성이 어려웠다. MeshFlow는 메시를 순서 없는 triangle soups로 생성하면서 대칭성을 보존해 SOTA 수준 품질을 유지하고 추론 속도를 약 18배 향상시킨다.

메시는 정점(vertices)과 삼각형(face)의 집합으로 3D 표면을 표현한다. 이때 face들 사이의 순서와 각 face 내부 정점의 순서는 표현의 동일성을 해치지 않으므로 모델이 이 순열 불변성(permutation invariance)을 유지하지 않으면 학습 목표가 잘못 부여된다. 기존의 autoregressive 방식은 메시를 일련의 토큰으로 직렬화하여 순서를 강제하므로 이러한 대칭성을 깨뜨린다.

전반적 접근은 메시를 unordered한 triangle soups로 보고, 생성 과정을 flow matching 기반의 확률 흐름(velocity field)으로 모델링하는 것이다. 모델은 시간에 따른 연속적 변환(velocity field)을 출력하여 초기 분포에서 목표 메시 분포로 샘플을 이동시키며, 이 과정에서 입력·출력의 순열에 대해 equivariance를 만족하도록 설계된다.

핵심 메커니즘은 두 축으로 구성된다. 하나는 네트워크 아키텍처 수정으로, Diffusion Transformer를 변형해 velocity field를 모델링하면서 face/vertex 순열에 대해 equivariant 작동을 유지한다. 다른 하나는 학습 목표로 optimal-transport 기반의 loss를 사용해 생성된 요소들과 정답 요소들 사이에서 순서를 강제하지 않는 최소 비용 매칭을 계산하고, 이 매칭을 통해 supervision 신호를 얻는다. 이 과정은 [생성된 요소 집합] → [optimal transport로 최소 비용 매칭 계산] → [매칭된 쌍에 대해 거리/velocity loss 계산] → [대칭성 위반 없이 학습 신호 확보]의 흐름으로 진행된다.

학습 시에는 flow matching 프레임워크에 optimal-transport 매칭을 결합해 수렴을 개선한다. 구체적으로는 시간 연속적 velocity 예측을 목표로 하고, 각 학습 스텝에서 정답과의 대응 관계를 optimal transport로 정해 loss를 산출한다. 이로 인해 잘못된 순서에 따른 큰 패널티가 제거되어 학습 안정성과 수렴 속도가 향상된다.

메인 결과는 MeshFlow가 메시 품질 면에서 state-of-the-art autoregressive mesh generators와 유사한 성능을 보이면서 추론 속도에서 약 18배의 향상을 보였다는 점이다. 원문 표기: "MeshFlow achieves mesh quality comparable to state-of-the-art autoregressive mesh generators while providing about an 18times speedup during inference."

추가적인 정밀한 정량평가(예: 특정 벤치마크별 점수표)는 본 요약 본문에 포함되지 않으므로 원문 결과표 참조가 필요하다. 프로젝트 페이지는 https://qiisun.github.io/MeshFlow/ 이다.

전체 아키텍처는 Diffusion Transformer 기반의 네트워크를 modified하여 velocity field를 출력하도록 구성된다. 네트워크 입력은 초기 노이즈 샘플과 시간 스텝 정보이며, 출력은 각 요소(삼각형의 정점 좌표 또는 삼각형 단위의 표현)에 대한 velocity 예측이다. 이 구조는 요소들의 순열 변환에 대해 equivariant 특성을 갖도록 연산 경로와 집계 방식을 설계한다.

수학적 기반은 flow matching과 optimal transport의 결합이다. 학습 단계에서는 생성된 집합과 목표 집합 사이의 매칭을 optimal transport로 계산한다. 즉 [생성된 요소 집합] → [비용 행렬(예: 유클리드 거리 기반) 구성] → [optimal transport solver로 최소 비용 매칭 도출] → [매칭된 쌍에 대해 velocity/position loss 계산] → [loss 평균화 및 gradient descent로 파라미터 갱신]의 순이다. 이 방식은 순서를 강제하지 않으므로 permutation invariance를 유지한 채 감독 신호를 확보한다.

equivariance 구현 측면에서는 face 간 순열과 face 내부 vertex 순열을 모두 고려하는 연산 규칙이 필요하다. 네트워크 내부의 집계(aggregation)나 attention 가중치 계산에서 순열에 대한 불변성 혹은 등변성을 만족하도록 설계되어, 동일한 메시를 다른 순서로 입력해도 대응하는 출력 변환이 유지된다.

Prior work와의 차별점은 두 가지다. 첫째, autoregressive 직렬화 대신 unordered triangle soups로 직접 생성한다는 점이다. 둘째, flow matching 기반의 continuous-time velocity 모델과 optimal-transport 기반의 학습 목표를 결합해 대칭성 위반으로 인한 부정확한 감독 신호를 제거하고 수렴을 개선한다. 이 조합이 추론 속도 개선(about 18x)과 품질 유지라는 실용적 이점을 제공한다.