PHYSIFORMER: 세계 좌표에서 역학을 학습해 시뮬레이션하기

왜 중요한가

PHYSIFORMER는 시점이나 픽셀 종속적 표현 대신 세계 좌표계의 3D 메쉬 정점 좌표를 직접 생성 목표로 삼아 물리적 동역학을 모델링한다. 이 접근은 비가시적 물리 변수의 불확실성을 확률적으로 포착해 다양한 타당한 미래 궤적을 생성하는 능력을 제공한다. 결과적으로 로봇 시뮬레이션, 그래픽스, 물리 설계 등에서 뷰 불변성과 지오메트리 인식을 요구하는 응용에 직접 적용 가능하다.

핵심 기여

좌표 공간의 전체-궤적 확산 모델을 제안

PHYSIFORMER는 정점 좌표 시퀀스 전체를 단일 denoising diffusion 과정으로 모델링해 한 번의 샘플링으로 미래 정점 궤적을 생성한다. 이 방식은 autoregressive(AR) 롤아웃에서 누적되는 오류를 피하고 시간에 걸친 객체 일관성(rigidity)을 더 잘 유지한다. 학습은 JiT 기반의 x-예측 with v-loss 흐름 매칭 목표로 수행되어 좌표 신호의 저차원 매니폴드 특성을 활용한다.

시공간·객체 축으로 요인화된 Transformer 어텐션 구조

네트워크는 시간축, 전체 공간축, 객체 수준 공간축으로 어텐션을 분해해 계산 비용을 줄였다. 구체적으로 프레임별(full spatial), 객체 내부(object-level) 및 정점별(temporal) 어텐션을 번갈아 적용해 O(T N^2 + N T^2) 비용으로 대규모 토큰을 처리했다. 이 설계는 별도 객체 ID 임베딩 없이도 객체 불변성과 순열 불변성을 확보했다.

강체와 탄성체를 단일 모델로 생성하고 불확실성 표현

모델은 각 객체에 할당된 간단한 재료 임베딩(rigid=0, elastic=1)으로 물성 조건을 반영해 단일 네트워크로 두 물성 범주를 모두 생성한다. 확률적 생성 특성 때문에 질량·마찰 등 관측되지 않은 물리 파라미터의 불확실성을 자연스럽게 모델링해 다양한 물리적으로 타당한 미래를 출력한다. 이로 인해 결정론적 시뮬레이터가 제공하지 못하는 다중 가능한 미래 샘플링이 가능하다.

대규모 합성 데이터에서의 실험적 우월성 및 범용성

100k개가량의 시뮬레이션 궤적으로 학습한 후, PHYSIFORMER는 기존 AR 계열 모델들보다 궤적 MSE, 강체 보존 지표, 운동량 일관성에서 우수한 성능을 보였다. 또한 훈련에 사용되지 않은 복잡한 메쉬, 혼합 물성, 더 많은 객체 수로도 일반화 능력을 보였다. 추론 속도는 고해상 탄성 시뮬레이션보다 유리해 실무 적용 관점에서 계산 비용 이점을 제공했다.

핵심 아이디어 이해하기

물리 시뮬레이션 문제는 상태(정점 위치·속도)와 환경 물성으로 결정되는 시계열 궤적을 예측하는 문제이다. 기존 학습 기반 시뮬레이터와 AR 예측은 보통 다음 시점만을 예측하고 이를 반복해 롤아웃하므로 작은 오차가 누적돼 장기 모션에서 형태 붕괴나 운동량 불일치가 발생한다. 반대로 전체 궤적을 한 번에 생성하면 시간축 전반의 상호의존성을 네트워크가 한 번에 고려해 일관된 모션을 만들 가능성이 커진다. 이러한 관점에서 PHYSIFORMER는 전체 정점 시퀀스를 목표 데이터로 삼는 denoising diffusion(흐름 매칭) 목표를 사용해 x-예측을 학습한다. 훈련 시 τ 혼합 인자를 통해 데이터와 표준가우시안 노이즈를 섞어 만든 zτ를 입력으로 네트워크가 흐름 속도 v를 예측하도록 학습한다. 네트워크 출력은 깨끗한 좌표 x로 복원되며, 추론에서는 ODE 통합(Heun integrator, 50 스텝 기본)을 통해 τ=0에서 1로 통합해 샘플을 얻는다. 토큰화 측면에서 각 시각의 N 정점 좌표를 D차원으로 선형 사영해 T·N 토큰 시퀀스를 만들지만 전체 어텐션은 계산 비용과 신호 구조를 고려해 시간·공간·객체 축으로 요인화된 어텐션을 적용한다. 이로써 정점 간 공간적 관계, 정점의 시간적 연속성, 객체 내부 상호작용을 분리해 효율적으로 학습한다.

방법론

입력은 초기 프레임 X0와 초기 속도 V0, 그리고 각 정점에 부여된 재료 플래그 M이다. 학습 목표는 조건부 분포 p(X | X0, V0, y)를 근사하는 것으로, 이를 위해 흐름 매칭(Flow Matching) 기반 denoising diffusion 목표를 사용해 zτ = τ x + (1 − τ)ϵ 형태의 노이즈화된 궤적을 네트워크가 역노이즈해 x를 회복하도록 학습한다. 네트워크 아키텍처는 DiT(Diffusion Transformer) 기반으로 각 노이즈화 정점 토큰에 X0·V0 임베딩과 재료 임베딩을 더해 조건화를 수행한다. 계산 효율과 구조적 인코딩을 위해 어텐션은 세 종류로 요인화되어 번갈아 적용된다. 구체적으로 프레임별(full spatial) 블록은 시간 축을 배치처럼 간주해 프레임 내 정점들끼리 어텐션을 수행하고, 객체 수준 블록은 정점을 객체 단위로 그룹핑해 내부 상호작용을 처리하며, 시간적 블록은 각 정점이 시간 축을 가로질러 자신의 시퀀스를 참조하도록 구성되었다. 위치 정보는 시간 RoPE와 좌표 기반 공간 RoPE를 분리 적용해 상대적 오프셋을 어텐션에 반영했고, 16개의 레지스터 토큰을 통해 요약된 전역 정보를 블록 간에 공유했다. 학습 세부사항으로는 49프레임 시퀀스, 노이즈 스케일 0.1, Heun 통합(추론 시 50 스텝 기본), AdamW 옵티마이저, EMA 파라미터를 사용했고 모델 크기는 DiT-L 규모(D=1024, 24 블록)로 구성되었다.

주요 결과

주요 정량 결과는 훈련 데이터 D1(10k rigid scenes) 기준에서 PHYSIFORMER-L-10k가 AR 계열 모델들보다 평균 MSE와 강체 손실, 운동량 드리프트 비율에서 우수한 값을 기록했다. 표 2의 결과에서는 PHYSIFORMER가 10프레임과 49프레임 모두에서 비교 우위를 보였고 AR 모델들은 롤아웃 장기화에 따른 형태 변형과 궤적 발산을 보였다. 추가 실험에서 PHYSIFORMER는 훈련에 포함되지 않은 복잡한 메쉬 형상, 더 많은 객체 수(예: 15개) 및 혼합 재료 설정으로도 합리적 샘플을 생성해 일반화 능력을 입증했다. 효율성 측면에서는 Genesis 같은 물리 시뮬레이터의 탄성체 시뮬레이션보다 추론이 빠른 경우가 관찰되었고 예컨대 elastic-body 시뮬레이션이 20–36초 소요되는 반면 PHYSIFORMER는 H100 GPU에서 25 denoising step 기준으로 더 짧은 시간에 결과를 생성해 반복 추론 비용 측면에서 이점이 나타났다.

기술 상세

아키텍처는 DiT 기반의 Transformer 블록을 사용하고 입력은 T×N×3 정점 좌표 시퀀스를 각 토큰으로 선형 프로젝션해 D차원 임베딩으로 변환한다. 초기 상태 X0와 V0는 별도 임베더로 D차원에 투사한 뒤 각 노이즈화된 토큰에 브로드캐스트 합산으로 조건화한다. 재료 조건은 두 값(0 rigid, 1 elastic)을 MLP로 임베딩해 정점에 부가했다. 어텐션은 세 종류의 팩터화 블록을 번갈아 적용해 전체 토큰 길이 T·N에 대한 완전 자기어텐션의 O((TN)^2) 비용을 O(T N^2 + N T^2)로 줄였다. 확산 학습은 흐름 매칭 목표를 사용해 v(zτ, τ)를 예측하도록 최적화하며 τ는 logit-normal 분포에서 샘플링한다. 네트워크 출력은 깨끗한 좌표 x를 직접 예측하는 x-prediction 형태이며 v-loss를 사용해 예측의 안정성을 높인다. 학습 구현상 RMSNorm, AdaLN 조건화, QK-normalization, SwiGLU 활성화 등을 사용했고 D=1024, 블록 24, 헤드 16 구성으로 DiT-L을 구현했다. 추론은 ODE 통합으로 구현돼 Heun integrator를 기본 50 스텝으로 사용하며 25 스텝 등 적은 스텝에서도 품질 저하가 크지 않은 것으로 보고되었다.

한계점

논문에서 명시한 제약은 고정된 출력 길이와 메쉬 해상도 상한이다. 현재 모델은 훈련에 사용된 길이(49프레임)와 정점 수(훈련별 최대치, 예: 356) 범위에서 최적으로 동작하며 장기 롤아웃이나 훨씬 더 높은 해상도의 메쉬에는 추가 연구가 필요하다. 또한 완전한 물리 법칙을 명시적으로 강제하지 않기 때문에 드물게 객체 간 침투나 부정합한 접촉, 방향성 불연속 같은 아티팩트가 발생할 수 있음을 논문에서 보고하고 있다.

실무 활용

PHYSIFORMER는 초기 정점 상태만으로 다양한 물리적으로 타당한 미래 궤적을 샘플링할 수 있어 로봇 시뮬레이션의 빠른 대체 추론기, 게임·콘텐츠 제작의 물리 기반 애니메이션 생성, 설계 자동화에서의 물리적 희소성 검토 등에 적용 가능하다. 학습된 모델은 고정된 추론 비용으로 복잡한 접촉·탄성 현상을 빠르게 롤아웃하므로 대규모 샘플링이나 실시간 연산이 필요한 파이프라인에서 유리할 수 있다. 다만 트레이닝 데이터 스펙과 모델 입력 형식에 맞춘 전처리와 토폴로지 제공이 필요하다.

로봇 플래닝에서 초기 상태로부터 가능한 충돌·접촉 결과의 분포를 샘플링해 위험한 시나리오를 사전 평가하는 시나리오 생성기로 사용 가능하다.
게임과 애니메이션 제작에서 복수 객체의 물리 기반 모션을 빠르게 생성해 모션 캡처나 수동 애니메이션 보완에 활용할 수 있다.
설계 자동화 파이프라인에서 다양한 재료 가정 하에 구조물의 동적 반응 분포를 대량으로 생성해 불확실성 기반 검토에 활용할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

diffusion transformer(확산 Transformer)3D mesh(3D 메쉬)coordinate-space diffusion(좌표 공간 확산)attention factorization(어텐션 요인화)rigidity preservation(강체 보존)

용어 해설

확산 모델(Diffusion Model): — 데이터와 노이즈를 섞어가며 역확률 흐름을 학습하여 깨끗한 샘플을 복원하는 생성 모델 계열이다. 본문에서는 좌표 공간에서의 denoising(흐름 매칭 기반) 목표를 사용해 전체 정점 궤적을 직접 생성하는 데 적용되었다. 확률적 생성이 불확실성 표현과 다양한 미래 샘플 생성을 가능하게 한다.
로테리 위치 인코딩(Rotary Positional Encoding (RoPE)): — 쿼리와 키의 일부 채널에 회전 변환을 적용해 상대적 위치 정보를 인코딩하는 방식이다. 본문에서는 시간축과 3D 좌표 기반 공간축에 각각 RoPE를 적용하여 시공간 상대 위치 의존성을 표현하였다. 이 방식은 회전·이동 불변성 요구에 맞춰 주파수 기반 위상으로 상대 오프셋을 반영한다.
요인화된 어텐션(Factorised Attention): — 긴 시공간 토큰 시퀀스의 계산량을 줄이기 위해 시공간 축을 분리하여 독립적으로 어텐션을 수행하는 전략이다. 논문에서는 시간별(full spatial), 객체별(object-level), 정점별(temporal) 어텐션을 번갈아 적용해 O(T N^2 + N T^2) 비용으로 처리 효율을 확보했다. 이 구조는 객체 순서에 불변인 멀티-객체 추론을 가능하게 한다.
3D 메쉬 표현(3D Mesh Representation): — 삼각형 얼굴과 정점 집합으로 물체 기하를 표현하는 구조이며 각 정점의 좌표와 토폴로지가 물리 시뮬레이션의 입력이 된다. 본문에서는 정점 좌표와 초기 속도를 직접 조건으로 사용해 전체 정점 궤적을 예측하였다. 메쉬 기반 표현은 렌더링·로보틱스·그래픽스 시스템과 직접 연동 가능한 장점이 있다.
강체 보존(Rigidity Preservation): — 시뮬레이션에서 강체로 지정된 객체의 형태가 시간이 지나도 변형되지 않아야 하는 성질이다. 본문에서는 Kabsch 알고리즘으로 각 객체의 최적 rigid transform을 계산한 뒤 프레임별 정점 오프셋으로 강체 오차를 수치화하였다. 이 척도는 장기 롤아웃에서 AR 모델들이 보인 누적 오차로 인한 형태 붕괴를 판별하는 데 사용되었다.

PHYSIFORMER: 세계 좌표에서 역학을 학습해 시뮬레이션하기

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드