Strips as Tokens: 고유 UV 분할 기능을 갖춘 아티스트 수준의 메쉬 생성

기존의 AI 기반 3D 메쉬 생성은 아티스트가 선호하는 정교한 엣지 흐름과 UV 매핑 구조를 유지하는 데 어려움이 있었다. 이 논문은 삼각형 스트립 구조를 활용한 새로운 토큰화 방식을 통해, 별도의 후처리 없이도 즉시 실무에 사용 가능한 고품질의 삼각형 및 사각형 메쉬를 동시에 생성할 수 있는 길을 열었다.

기존의 자기회귀 기반 메쉬 생성 모델은 3D 정점 좌표를 단순히 나열하거나 무작위 패치 단위로 학습했다. 이는 Transformer가 메쉬의 기하학적 형태는 흉내 낼 수 있게 했지만, 숙련된 아티스트가 수작업으로 만든 메쉬 특유의 매끄러운 선(Edge Flow)과 규칙적인 면 구조를 학습하기에는 부적합했다. 마치 문장의 단어 순서가 뒤섞여 있으면 문맥을 파악하기 어려운 것과 같은 이치이다.

SATO는 컴퓨터 그래픽스의 고전적 개념인 '삼각형 스트립'에서 해답을 찾았다. 삼각형 스트립은 인접한 삼각형들이 변을 공유하며 사슬처럼 연결된 구조이다. 이를 토큰화의 기준으로 삼으면, 모델은 자연스럽게 면과 면 사이의 연결 관계와 표면의 곡률 방향을 시퀀스 데이터로서 학습하게 된다. 이는 Transformer의 Attention 메커니즘이 국소적인 연결성뿐만 아니라 전체적인 구조적 흐름을 더 쉽게 포착할 수 있도록 돕는 강력한 유도 편향(Inductive Bias)으로 작용한다.

결과적으로 모델은 단순히 점들의 집합을 예측하는 것이 아니라, 아티스트가 메쉬를 면 단위로 이어 붙여 나가는 논리적인 과정을 모방하게 된다. 특히 사각형은 두 개의 삼각형으로 쪼개질 수 있다는 기하학적 특성을 이용해, 하나의 학습된 모델이 상황에 따라 삼각형 또는 사각형 메쉬를 자유롭게 출력할 수 있는 유연성을 확보했다.

SATO의 방법론은 크게 세 단계의 파이프라인으로 구성된다. 첫째, 계층적 기하학 양자화(Hierarchical Geometry Quantization)를 통해 3D 좌표를 512^3 해상도의 복셀 그리드 상에서 세 단계의 계층적 튜플로 변환한다. [정점 좌표 (x, y, z) 입력 → 4^3, 8^3, 16^3 해상도의 계층적 인덱스 추출 → 이산적 토큰 시퀀스 출력 → 고해상도 기하 정보의 압축적 표현].

둘째, 스트립 기반 직렬화(Strip-based Serialization)를 수행한다. 알고리즘은 가장 낮은 좌표의 면부터 시작해 인접한 면을 '지퍼'처럼 엮어 나가는 탐욕적(Greedy) 방식으로 스트립을 추출한다. 이때 UV 아일랜드 경계에서는 특수 토큰(C_uv)을 삽입하여 위상적 단절을 명시한다. [메쉬의 면 집합 F 입력 → 공유 변 기반 스트립 추출 및 특수 토큰 삽입 → 정점 스트림 T 출력 → 구조적 흐름이 보존된 시퀀스 형성].

셋째, 통합 디코딩 프로토콜을 적용한다. 사용자가 설정한 스트라이드 파라미터(δ)에 따라, δ=1이면 삼각형으로, δ=2이면 두 정점씩 짝을 지어 사각형으로 복원한다. [토큰 시퀀스 T와 스트라이드 δ 입력 → δ 값에 따른 면 구성 로직 적용 → 최종 메쉬 M 출력 → 단일 모델로 다중 위상 지원].

SATO는 ShapeNet, Thingi10K, Objaverse 데이터셋에서 기존 SOTA 모델인 MeshAnythingV2, BPT, DeepMesh 등을 모든 지표에서 압도했다. 특히 ShapeNet 기준 Normal Consistency(NC) 0.975를 기록하여 표면 정밀도를 입증했으며, F1 스코어에서도 0.807로 가장 높은 정확도를 보였다. 사용자 평가에서도 아티스트 수준의 메쉬 품질 항목에서 평균 2.61점(3점 만점)을 받아 경쟁 모델(BPT 1.4점) 대비 월등한 선호도를 기록했다.

Ablation Study 결과, 제안된 스트립 토큰화 방식은 DeepMesh의 패치 방식 대비 토큰 길이를 약 15% 단축시켰으며, 학습 수렴 속도 또한 유의미하게 빨라졌다. 특히 사각형 메쉬 미세 조정을 거친 모델은 삼각형 메쉬 생성 시에도 엣지 라우팅이 더 깔끔해지는 '위상적 시너지'가 확인되었다. UV 분할 실험에서는 Blender의 자동 언랩 알고리즘과 결합했을 때 기존 PartField 방식보다 낮은 왜곡률(L2 Stretch 0.979)을 달성했다.

SATO는 0.5B 파라미터 규모의 Hourglass Transformer 아키텍처를 백본으로 사용한다. 21개의 레이어와 8개의 어텐션 헤드, 1024 차원의 임베딩 공간을 갖추고 있다. 포인트 클라우드 조건화를 위해 Hunyuan3D의 VAE 구조를 차용한 0.27B 규모의 인코더를 처음부터 학습시켜 사용한다. 학습은 9K 토큰 윈도우 크기의 Truncated-window 전략을 채택하여 긴 시퀀스에서도 국소적 일관성을 유지하도록 했다.

가장 중요한 기술적 차별점은 '접두사 공유(Prefix Sharing)'와 '특수 토큰 확장'의 결합이다. 인접한 정점들이 공유하는 상위 계층 좌표를 생략하여 시퀀스를 압축하되, 새로운 스트립이나 UV 아일랜드가 시작될 때만 특수 토큰(C_1*, C_uv)을 사용하여 공유 컨텍스트를 강제로 리셋한다. 이는 모델이 명시적인 구분자 없이도 위상적 경계를 완벽하게 이해하게 만든다. 또한 사각형 메쉬 생성 시 발생하는 비평면성(Non-planarity) 문제를 해결하기 위해 QuadGPT의 평가 프로토콜을 따라 엄격한 평면 제약을 두지 않고 아티스트의 관행을 따랐다.

사각형 스트립의 길이가 홀수이거나 중복된 정점이 포함된 경우 드물게 국소적인 면이 삼각형으로 퇴화하는 현상이 발생할 수 있다. 또한 구체(Sphere)와 같이 모든 방향으로 균일한 곡률을 가진 형태에서는 엣지 라우팅의 규칙성이 다소 떨어지는 경향이 있는데, 이는 학습 데이터셋의 편향(삼각형 데이터의 비중이 높음)에 기인한 것으로 분석된다.