PHYSIFORMER: 세계 좌표에서 역학을 학습해 시뮬레이션하기

PHYSIFORMER는 시점이나 픽셀 종속적 표현 대신 세계 좌표계의 3D 메쉬 정점 좌표를 직접 생성 목표로 삼아 물리적 동역학을 모델링한다. 이 접근은 비가시적 물리 변수의 불확실성을 확률적으로 포착해 다양한 타당한 미래 궤적을 생성하는 능력을 제공한다. 결과적으로 로봇 시뮬레이션, 그래픽스, 물리 설계 등에서 뷰 불변성과 지오메트리 인식을 요구하는 응용에 직접 적용 가능하다.

물리 시뮬레이션 문제는 상태(정점 위치·속도)와 환경 물성으로 결정되는 시계열 궤적을 예측하는 문제이다. 기존 학습 기반 시뮬레이터와 AR 예측은 보통 다음 시점만을 예측하고 이를 반복해 롤아웃하므로 작은 오차가 누적돼 장기 모션에서 형태 붕괴나 운동량 불일치가 발생한다. 반대로 전체 궤적을 한 번에 생성하면 시간축 전반의 상호의존성을 네트워크가 한 번에 고려해 일관된 모션을 만들 가능성이 커진다. 이러한 관점에서 PHYSIFORMER는 전체 정점 시퀀스를 목표 데이터로 삼는 denoising diffusion(흐름 매칭) 목표를 사용해 x-예측을 학습한다. 훈련 시 τ 혼합 인자를 통해 데이터와 표준가우시안 노이즈를 섞어 만든 zτ를 입력으로 네트워크가 흐름 속도 v를 예측하도록 학습한다. 네트워크 출력은 깨끗한 좌표 x로 복원되며, 추론에서는 ODE 통합(Heun integrator, 50 스텝 기본)을 통해 τ=0에서 1로 통합해 샘플을 얻는다. 토큰화 측면에서 각 시각의 N 정점 좌표를 D차원으로 선형 사영해 T·N 토큰 시퀀스를 만들지만 전체 어텐션은 계산 비용과 신호 구조를 고려해 시간·공간·객체 축으로 요인화된 어텐션을 적용한다. 이로써 정점 간 공간적 관계, 정점의 시간적 연속성, 객체 내부 상호작용을 분리해 효율적으로 학습한다.

입력은 초기 프레임 X0와 초기 속도 V0, 그리고 각 정점에 부여된 재료 플래그 M이다. 학습 목표는 조건부 분포 p(X | X0, V0, y)를 근사하는 것으로, 이를 위해 흐름 매칭(Flow Matching) 기반 denoising diffusion 목표를 사용해 zτ = τ x + (1 − τ)ϵ 형태의 노이즈화된 궤적을 네트워크가 역노이즈해 x를 회복하도록 학습한다. 네트워크 아키텍처는 DiT(Diffusion Transformer) 기반으로 각 노이즈화 정점 토큰에 X0·V0 임베딩과 재료 임베딩을 더해 조건화를 수행한다. 계산 효율과 구조적 인코딩을 위해 어텐션은 세 종류로 요인화되어 번갈아 적용된다. 구체적으로 프레임별(full spatial) 블록은 시간 축을 배치처럼 간주해 프레임 내 정점들끼리 어텐션을 수행하고, 객체 수준 블록은 정점을 객체 단위로 그룹핑해 내부 상호작용을 처리하며, 시간적 블록은 각 정점이 시간 축을 가로질러 자신의 시퀀스를 참조하도록 구성되었다. 위치 정보는 시간 RoPE와 좌표 기반 공간 RoPE를 분리 적용해 상대적 오프셋을 어텐션에 반영했고, 16개의 레지스터 토큰을 통해 요약된 전역 정보를 블록 간에 공유했다. 학습 세부사항으로는 49프레임 시퀀스, 노이즈 스케일 0.1, Heun 통합(추론 시 50 스텝 기본), AdamW 옵티마이저, EMA 파라미터를 사용했고 모델 크기는 DiT-L 규모(D=1024, 24 블록)로 구성되었다.

주요 정량 결과는 훈련 데이터 D1(10k rigid scenes) 기준에서 PHYSIFORMER-L-10k가 AR 계열 모델들보다 평균 MSE와 강체 손실, 운동량 드리프트 비율에서 우수한 값을 기록했다. 표 2의 결과에서는 PHYSIFORMER가 10프레임과 49프레임 모두에서 비교 우위를 보였고 AR 모델들은 롤아웃 장기화에 따른 형태 변형과 궤적 발산을 보였다. 추가 실험에서 PHYSIFORMER는 훈련에 포함되지 않은 복잡한 메쉬 형상, 더 많은 객체 수(예: 15개) 및 혼합 재료 설정으로도 합리적 샘플을 생성해 일반화 능력을 입증했다. 효율성 측면에서는 Genesis 같은 물리 시뮬레이터의 탄성체 시뮬레이션보다 추론이 빠른 경우가 관찰되었고 예컨대 elastic-body 시뮬레이션이 20–36초 소요되는 반면 PHYSIFORMER는 H100 GPU에서 25 denoising step 기준으로 더 짧은 시간에 결과를 생성해 반복 추론 비용 측면에서 이점이 나타났다.

아키텍처는 DiT 기반의 Transformer 블록을 사용하고 입력은 T×N×3 정점 좌표 시퀀스를 각 토큰으로 선형 프로젝션해 D차원 임베딩으로 변환한다. 초기 상태 X0와 V0는 별도 임베더로 D차원에 투사한 뒤 각 노이즈화된 토큰에 브로드캐스트 합산으로 조건화한다. 재료 조건은 두 값(0 rigid, 1 elastic)을 MLP로 임베딩해 정점에 부가했다. 어텐션은 세 종류의 팩터화 블록을 번갈아 적용해 전체 토큰 길이 T·N에 대한 완전 자기어텐션의 O((TN)^2) 비용을 O(T N^2 + N T^2)로 줄였다. 확산 학습은 흐름 매칭 목표를 사용해 v(zτ, τ)를 예측하도록 최적화하며 τ는 logit-normal 분포에서 샘플링한다. 네트워크 출력은 깨끗한 좌표 x를 직접 예측하는 x-prediction 형태이며 v-loss를 사용해 예측의 안정성을 높인다. 학습 구현상 RMSNorm, AdaLN 조건화, QK-normalization, SwiGLU 활성화 등을 사용했고 D=1024, 블록 24, 헤드 16 구성으로 DiT-L을 구현했다. 추론은 ODE 통합으로 구현돼 Heun integrator를 기본 50 스텝으로 사용하며 25 스텝 등 적은 스텝에서도 품질 저하가 크지 않은 것으로 보고되었다.

논문에서 명시한 제약은 고정된 출력 길이와 메쉬 해상도 상한이다. 현재 모델은 훈련에 사용된 길이(49프레임)와 정점 수(훈련별 최대치, 예: 356) 범위에서 최적으로 동작하며 장기 롤아웃이나 훨씬 더 높은 해상도의 메쉬에는 추가 연구가 필요하다. 또한 완전한 물리 법칙을 명시적으로 강제하지 않기 때문에 드물게 객체 간 침투나 부정합한 접촉, 방향성 불연속 같은 아티팩트가 발생할 수 있음을 논문에서 보고하고 있다.