Helix4D: 복합 4D 메시 생성

4D 메쉬 생성은 시간 축의 변형, topology 변화, 투명 재질 및 내부 표면 재구성에 도전이 있다. Helix4D는 Trellis2의 프리트레인 품질을 보존하면서 비디오 조건의 4D 생성을 가능하게 하여 복합 재질과 얇은 구조, 내부 표면 재구성 등 어려운 사례를 고품질로 다룬다.

1. 4D(mesh) 생성을 위해 기존 Trellis2의 프리트레인 3D 지식을 유지하되, 프레임 간 정보를 교환하는 cross-frame attention과 시간 정보를 도입한다. 2) 4D RoPE는 공간 RoPE의 저주파 밴드를 시간 인코딩으로 재활용해 파라미터를 늘리지 않고 시간 정보를 주입한다. 3) 첫 프레임 conditioning으로 학습 데이터의 부족 문제를 해결하고, 16프레임으로 훈련해 4D 일관성을 확보한다. 4) 실험적으로 ActionBench/TexVerse에서 CD-3D/CD-4D 및 3D-이미지 정합성에서 우수한 성능을 보인다.

{"paragraphs": ["전체 접근 방식은 Trellis2를 4D로 확장하여 비디오 조건에서 동적 메시를 생성하는 것이다. 3단계의 flow-matching( sparse-structure, geometry, material) 모듈을 사용하며, O-Voxel 표현을 유지한다. 각 프레임의 토큰을 하나의 비디오 시퀀스로 취급하고, 16프레임을 한 번에 처리한다.", "Cross-frame attention은 sliding window 방식으로 프레임 간 정보를 허용하되 first-frame anchor를 이용해 전역 정보를 제공한다. 첫 프레임은 Anchor로써 Trellis2에서 생성된 상태를 사용하고, f≥1 프레임에 대해서만 flow-matching 손실을 계산한다.", "4D rotary embedding은 공간 RoPE의 저주파 밴드를 시간 축에 할당하는 방식으로, α=0.75를 사용해 공간에서 고주파를 유지하고 저주파를 시간으로 재분배한다. RoPE의 공간-시간 구분은 블록 대각 구조를 유지한다.", "학습 세부사항으로 TexVerse-1K에서 55k 객체를 수집하고 각 애니메이션을 16프레임으로 구성한다. 해상도는 1024×1024이며 32 GPU(A100)로 20k 이터레이션에 걸쳐 AdamW로 학습한다."], "figures": [] }

주요 벤치마크에서 Ours는 Baseline 대비 전 영역에서 향상된 품질과 시간적 일관성을 보였다. 예를 들어 ActionBench의 CD-3D는 0.051, CD-4D는 0.093으로 최저치를 기록했고 TexVerse의 CD-3D는 0.045, CD-4D는 0.097로도 최저치를 보였다. Helix4DBench에서 CLIP, CLIP-N, ULIP-2, Uni3D 등 모든 지표에서 우수한 성능을 달성했고, 사용자 설문에서도 다수의 선호를 얻었다. Ablation 연구에서 첫 프레임 conditioning의 제거가 성능 저하에 가장 큰 영향을 주었고, 4D rotary를 제거하면 기하가 왜곡되었다. 다른 패턴들보다 전체적으로 sliding window + anchor 방식이 최적의 품질과 속도 균형을 보였다.

"전체 아키텍처: Trellis2를 4D로 확장하는 파이프라인, 3단계(flow-matching) 구조, O-Voxel 기반의 희소 구조로 구성한다. 수학적 기반: cross-frame attention에서 M(mask)으로 프레임 간 연결을 제어하고, 4D RoPE는 공간 RoPE의 저주파를 시간 축으로 재배치한다. Prior work 대비 차별점: 비집합적 topology 변화와 내부 표면 재구성을 가능하게 하는 O-Voxel 표현을 유지하면서 4D 확장을 수행한다. 학습 구현: TexVerse-1K 데이터에서 16프레임으로 학습하며, 32 GPU에서 20k 이터레이션, AdamW를 사용한다."

Trellis2 백본의 한계로 인해 메쉬에 구멍이 생길 수 있으며, 텍스처의 색상 편차 현상이 존재한다. 또한 시퀀스의 고주파 기하 디테일이 큰 경우 시간적 일관성은 여전히 어려움이 있다.