FLUIDWORLD: 세계 모델을 위한 예측 기질로서의 반응-확산 역학

기존 세계 모델은 연산량이 많은 Transformer에 의존하지만, 이 논문은 물리 법칙인 '반응-확산' 원리를 이용해 훨씬 가볍고 안정적인 예측 모델을 제안한다. 특히 예측 과정에서 발생하는 오류를 스스로 수정하는 '자가 치유' 능력을 갖추어 로봇 공학이나 자율 주행 등 고해상도 실시간 처리가 필요한 분야에 새로운 대안을 제시한다.

세계 모델은 미래를 예측하기 위해 주로 Transformer의 Self-Attention을 사용한다. 하지만 Attention은 모든 데이터 쌍의 관계를 계산하므로 데이터가 많아질수록 연산량이 제곱(N²)으로 늘어나고, 물리적인 공간 전파 원리를 데이터로부터 직접 학습해야 하는 비효율성이 존재한다.

FLUIDWORLD는 물리 현상인 '확산(Diffusion)'과 '반응(Reaction)'을 수학적으로 기술하는 부분 미분 방정식(PDE)을 연산의 기초로 삼는다. Laplacian 연산자를 통해 정보가 주변으로 자연스럽게 퍼지게 함으로써, 별도의 학습 없이도 물리적인 공간 연속성을 모델 구조에 직접 부여한다.

이 방식의 핵심은 '자가 치유' 능력이다. Transformer는 예측 오류가 발생하면 이를 다음 단계로 증폭시키지만, FLUIDWORLD의 확산 기질은 오류(고주파 노이즈)를 주변으로 흩뜨려 평활화(Smoothing)한다. 결과적으로 연산량은 데이터 수에 비례(O(N))하면서도 더 긴 시간 동안 안정적인 미래 예측이 가능해진다.

전체 구조는 Encode, Evolve, Decode의 3단계로 구성된다. 입력 프레임은 Patch Embedding을 거쳐 잠재 공간의 특징 맵으로 변환되며, 이는 지속적인 상태인 BeliefField에 기록된다.

핵심 연산은 반응-확산 PDE의 반복적 통합이다. u(τ+1) = u(τ) + Δt · [D · ∇²u(τ) + R(u(τ)) + αg · hg + αl · hl] 수식을 사용한다. [잠재 특징 u와 학습된 시간 간격 Δt를 입력으로] → [확산, 반응, 전역/지역 메모리 항을 합산하여 변화량을 계산하고 현재 상태에 더하는 연산을 수행해] → [다음 통합 단계의 상태 u(τ+1)을 얻고] → [이 값이 물리적으로 타당한 미래 예측 상태로 진화함을 의미한다.]

확산 연산 ∇²u는 {1, 4, 16}의 다중 확장(Dilation)을 가진 고정 5-포인트 스텐실 컨볼루션으로 구현된다. [특징 맵 u를 입력으로] → [서로 다른 간격의 주변 픽셀 차이를 계산하는 Laplacian 커널과 컨볼루션 연산을 수행해] → [다양한 수용 영역(Receptive Field)에서의 정보 전파량을 얻고] → [Attention 없이도 전역적인 공간 문맥을 파악할 수 있게 한다.]

생물학적 메커니즘인 측면 억제(Lateral inhibition)와 시냅스 피로(Synaptic fatigue)를 적용했다. [활성화된 채널 값을 입력으로] → [주변 채널을 억제하거나 누적 활성도에 비례해 감쇠시키는 연산을 수행해] → [희소하고 차별화된 특징 값을 얻고] → [특정 채널이 독점되는 현상을 방지하여 표현의 풍부함을 유지한다.]

UCF-101 데이터셋에서 80만 개의 파라미터로 제한한 실험 결과, FLUIDWORLD는 Transformer 대비 2배 낮은 재구성 오차(0.001 vs 0.002 MSE)를 기록했다. 또한 공간 구조 보존력(Spatial Std)과 유효 차원 수(Effective Rank)에서도 베이스라인 모델들을 압도했다.

다단계 예측(Multi-step rollout) 안정성에서 큰 차이를 보였다. Transformer와 ConvLSTM은 2단계 만에 평균 색상으로 붕괴하거나 노이즈가 발생했지만, FLUIDWORLD는 3단계까지 선명한 구조를 유지했다. 특히 SSIM 지표가 하락하다가 다시 상승하는 비단조적(Non-monotonic) 회복 패턴을 보이며 자가 치유 능력을 입증했다.

연산 효율성 측면에서 128x128 해상도 기준, PDE 확산 연산은 Transformer의 Attention 대비 약 16,384배 적은 연산 횟수(Ops)를 요구한다. 이는 고해상도 환경에서 PDE 기반 모델의 확장성이 압도적임을 시사한다.

FLUIDWORLD는 물리적 기질(Substrate) 자체를 모델로 사용하는 접근법을 취한다. 기존 Neural ODE가 잔차 연결을 이산화된 미분 방정식으로 해석한 것과 달리, 본 연구는 반응-확산 PDE의 동역학을 직접적인 계산 엔진으로 활용한다.

아키텍처의 핵심인 BeliefField는 GRU 스타일의 게이트를 통해 새로운 관측치를 통합하며, 내부적으로 PDE 진화를 통해 미래 상태를 예측한다. 이는 고정된 파라미터 비용으로 명시적인 공간 관계를 처리할 수 있게 한다.

자가 치유 메커니즘은 Laplacian 연산자의 저역 통과 필터(Low-pass filter) 특성에서 기인한다. 예측 과정에서 발생하는 고주파 노이즈를 확산을 통해 소산시킴으로써 시스템이 에너지 어트랙터(Energy attractor)로 수렴하게 유도한다.

학습 시에는 재구성 손실, 예측 손실과 함께 차원 붕괴를 막기 위한 분산 손실(Variance loss) 및 에지 보존을 위한 그래디언트 손실(Gradient loss)을 결합한 복합 목적 함수를 최적화한다.

현재 실험은 UCF-101 및 Moving MNIST 데이터셋에서 무조건부(Unconditional) 비디오 예측에 한정되어 있으며, 행동 조건부(Action-conditioned) 예측 및 계획 수립 능력에 대한 정량적 평가는 아직 이루어지지 않았다. 또한 반복적인 PDE 통합 과정으로 인해 현재 해상도에서는 Transformer보다 학습 속도가 5~8배 느리다.