AdaVoMP: Sparse Adaptive Voxels 기반의 입력 형상에서 기계 특성의 고해상도 volumetric 필드 예측

3D 자산의 물리 시뮬레이션에 필요한 Volumetric E(Young’s modulus), ν(Poisson’s ratio), ρ(density)가 대부분의 자산에서 누락되거나 불완전하다. AdaVoMP는 입력 형상에서 이들 물성 필드를 공간적으로 변화시키는 SAV( Sparse Adaptive Voxels) 구조와 Transformer 기반의 생성기를 도입해 64^3 대비 1024^3 해상도까지의 고해상도 예측을 가능하게 하며, 메모리 효율도 유지한다. 다 representation across multiple 3D formats에서의 보편적 적용 가능성을 제시한다.

출발점: 기존의 fixed-grid voxel 방식은 고해상도 물성 예측 시 계산 및 메모리 비용이 급증한다. 이를 해결하기 위해 SAV는 다계층 보셀 트리로 구성되어 중요한 지역에만 세밀도를 집중하고 나머지는 코간적으로 공유한다. 입력 형상은 multi-view DINO 특징과 방향성 정보를 결합해 AGT가 조건 벡터를 만들고, G는 이 조건을 바탕으로 SAV를 coarse-to-fine으로 만들어 물성 필드( E, ν, ρ)를 예측한다. 결과적으로 1024^3 해상도에서도 학습 가능한 파라미터 수를 유지하면서 물성 예측 정확도를 크게 높일 수 있다. 다층 구조를 통해 경계 및 경계 근처의 이질적 영역에 집중하고, 동일 영역은 큰 보셀로 표현하므로 계산 효율이 증가한다. 이 접근은 VoMP와 Pixie 같은 고정 해상도 기반 방법 대비 해상도 확장성과 정확성을 동시에 달성한다.

1. 입력 형상은 SAV로 인코딩되며, 각 보셀은 레벨 ℓ과 위치 i로 표현된다. 2) Adaptive Geometry Transformer는 각 보셀에 대해 위치 기반 RoPE를 적용한 자기 주의(attention)로 컨디션 벡터 E를 생성한다. 3) Adaptive Material Generator G는 coarse-to-fine 순서로 동작하며, 각 후보(ℓ,i)는 구조(Empty/Keep/Subdivide)와 물성 잠재 z를 예측한다. 4) 각 레벨에서 Subdivide가 선택되면 자식 보셀이 후보 집합에 추가되고, Empty인 경우 제거된다. 5) MatVAE 디코더를 통해 z를 E, ν, ρ로 매핑하여 SAV_M에 저장한다. 6) 학습은 교사 강제(teacher forcing)로 구조와 물성의 보정을 함께 수행하며, 손실은 L = λ_struct L_struct + λ_mat L_mat 로 정의된다.

주요 벤치마크에서의 성능 향상: 고정 해상도 64^3에서 Ours-H(0.6B)가 VoMP 및 다른 baselines보다 우수하며, 1024^3 해상도에서도 우수한 성능 유지. 표1에 따르면 64^3 해상도에서 ALDE, ALRE, ADE, ARE 등에서 개선이 확인되며(예: Ours-H가 가장 낮은 오차), 1024^3에서도 비슷한 흐름으로 개선이 관찰된다. 메모리 사용은 모델 규모와 해상도 증가에 따라 FPOPS가 증가하지만, memory-usage와 compute 간의 Pareto 최적화를 달성한다. SAV의 레벨-별 도해를 통해 64^3 대비 16^3 배의 효과적 해상도 향상을 달성하며(1024^3), 대규모 물성 필드의 예측이 가능하게 된다. Ground-truth SAV와의 구조 재현성은 16.16%에서 4.42% 수준의 차이로 환원되며, Ground-truth에 대한 leaf 비율은 7.24%에서 10.54%로 유지된다.

1. 아키텍처: SAV 인코더-제너레이터 구조. 입력 Shape SAV를 Adaptive Geometry Transformer E로 인코딩하고, Adaptive Material Generator G로 물성 필드를 SAV 형태로 생성한다. MatVAE 디코더는 per-보셀의 latent z를 (E, ν, ρ)로 매핑한다. 2) 수학적 기반: SAV는 각 레벨 ℓ에서 보셀의 아이디 i를 통해 uℓ,i를 정의하고, 보셀의 leaf 여부는 Subdivide의 예측으로 결정한다. Query는 Finest-Available 방식으로 x에 대해 가장 세밀한 보셀의 벡터를 반환한다. 3) 학습 손실: L = λ_struct L_struct + λ_mat L_mat, L_struct는 구조 예측의 음의 로그 가능도, L_mat는 MatVAE를 통해 예측된 벡터와 ground-truth 벡터 간의 L2 차이를 포함한다. 4) 구현 및 데이터: 학습은 BF16 혼합 정밀도, 32×A100 GPU에서 5일 학습, Geometry with Volumetric Trees(GVT) 데이터세트 및 VLM 기반 라벨링, DINOv3 기반 다중 뷰 특징 사용. 5) 비교 및 차별점: VoMP, Pixie 등의 고정 해상도 접근법과 달리 SAV를 통해 부분적으로 상세한 지역에만 세밀화를 적용하고, Empty/Keep/Subdivide를 명시적으로 예측하는 차별점이 있다. 6) 구현 세부: spconv 기반의 희소 텐서 백엔드를 활용한 다중 레벨 토큰 관리 및 배치 학습. 7) 한계: 비선형 방향성 물질(텐서 필드) 및 다이내믹 시퀀스 영상에 대한 일반화 한계가 있으며, 물성 측정 없이 모델에 의존한 초기화의 위험이 있다.

논문에서 명시한 한계는 방향성이 강한 텐서 물성(예: 비등방성 구속)이 전개되지 않는 점, 정적 3D 자산에 초점이므로 영상 기반 동적 신호의 활용은 제한적이라는 점이다. distribution shift나 비정형 물질에 의한 예측 오차에 대한 검증 필요성이 있다.