Gamma-World: 두 명을 넘어서는 Generative 멀티에이전트 월드 모델링

다중 에이전트 환경에서의 월드 모델링은 각 에이전트의 독립 제어성과 시계열 및 관점 간 일관성을 보장해야 한다. 기존 방법은 모든 토큰 간의 어텐션 비용이 증가하고, 학습 시 슬롯 고정으로 인해 permutation 유연성이 제한된다. Gamma-World는 permutation-symmetric한 Simplex Rotary Agent Encoding으로 에이전트 정체성을 고정된 슬롯 없이 표현하고, Sparse Hub Attention으로 교차에이전트 소통을 허브를 통해 제한해 계산 복잡도를 선형으로 감소시킨다. 또 Bidirectional teacher와 causal student 간의 distillation 및 KV caching으로 24 FPS의 실시간 스트리밍 롤아웃을 달성한다. 이로써 두 플레이어에서 네 플레이어로의 일반화가 추가 학습 없이 가능해지며, 멀티에이전트 시뮬레이션의 확장성과 실시간성이 크게 향상된다.

단계별 아이디어 흐름은 다음과 같다. 시작점은 Latent video diffusion을 기반으로 한 멀티에이전트 영상 생성이다. 에이전트 축 p를 명시적으로 도입해, z0 ∈ R^{P×T×H×W×C} 형태의 다중 에이전트 잠재를 만든다. 3D RoPE를 확장한 4D RoPE를 통해 공간-시간-에이전트 축의 상대 위치 정보를 주입하고, 에이전트 정체성을 slot에 의존하지 않는 Simplex Vertex 인코딩으로 표현한다. cross-agent 상호작용은 Dense한 모든 토큰 간 어텐션 대신, 허브 토큰을 매개로 두 번의 모듈화된 주고받기로 구현한다. 이를 통해 에이전트 수가 증가해도 연산 비용은 선형으로 유지된다. 학습은 먼저 Bidirectional teacher로 고품질 조건부 분포를 학습하고, 이후 causal student에 의해 스트리밍 인퍼런스가 가능하도록 distillation한다. 마지막으로 Self-Forcing distillation으로 성능을 유지한 채로 few-step으로 압축한다. 실험적으로 2인/4인 환경에서 프레임 단위로 동시 제어가 가능한 롤아웃을 보여주고, Dense Attention 대비 품질을 개선한다. 또한 RealOmin-Open Dataset의 로봇 협동 예시에서도 동일 프레임워크를 적용해 물리적 시나리오에서도 일관된 동작을 보인다.

단일 프레임이 아니라 P명의 에이전트가 동기화된 입력을 받는 문제로 정의한다. 입력은 각 에이전트의 시각 스트림과 행동 시퀀스로 구성되며, Z0 ∈ R^{P×T×H×W×Cz} 형태의 잠재를 에이전트 축으로 확장한다. 액션은 f_a로 매 에이전트의 동작을 D 차원 벡터로 매핑하고, 각 블록에서 𝛽_pℓ,𝑡를 이용해 해당 토큰에 액션 정보를 주입한다. Simplex Rotary Agent Encoding은 𝑑rope를 𝑑𝑡+𝑑𝑝+𝑑ℎ+𝑑𝑤로 분해하고, 에이전트를 𝑉개의 simplex 꼭짓점에 매핑한다. 각 에이전트의 회전 각도 θ_p = α s_{π(p)}로 정의하고, Rsimp-4D으로 RoPE를 적용한다. Sparse Hub Attention은 𝑘 허브 토큰과 P×T개의 에이전트 토큰 구성으로, 토큰 간 직접적인 교환은 마스킹되고, 에이전트 → 허브 → 에이전트의 경로로 정보가 흐른다. 계층 구조는 𝑏(𝑖)로 블록 인덱스를 부여하고, ℳ(𝑖,𝑗) = 1[𝑏(𝑗) ≤ 𝑏(𝑖)]·ℳhub(𝑖,𝑗)로 차단된다. 학습은 3단계로 구성된다: (1) Bidirectional teacher는 Dense Self-Attention으로 조건부 denoising을 학습한다; (2) Causal student는 Diffusion Forcing과 Sparse Hub Attention으로 다중 단계 캐스케이딩을 학습한다; (3) Conditional Self-Forcing distillation으로 4단계 샘플링의 품질을 유지하며 few-step generator로 축약한다. 추론 시 KV 캐시로 과거 토큰과 허브 상태를 재활용하고, 24 FPS 스트리밍을 수행한다. DiT latent video diffusion의 손실 함수 L_FM은 z_σ와 z0 간의 차이를 최소화하도록 설계되며, Conditioning C에는 초기 관찰과 per-agent actions가 포함된다. 두 단계 학습에서 데이터는 2-agent 게임 샘플로 시작하되, 4-agent 스케일링은 추가 학습 없이 가능하도록 설계된다.

주요 벤치마크에서 Gamma-World의 성능은 Frame concat 대비 향상을 보였다. FVD/FID 지표에서 Gamma-World(Our)의 수치는 각각 두-Agent 평가에서 184.1/24.8, 199.3/24.0을 기록했고, 4-agent 평가에서도 191.5/21.2, 264.5/32.1로 나타났다. 비슷한 카테고리에서 Solaris 대비 우수하거나 유의미한 차이를 보였고 Frame concat 대비 더 나은 일관성 및 비디오 품질을 달성했다. 상호작용 아키텍처 ablative 실험에서 Spatial Concat, Sequence Concat, View Embedding, Simplex Encoding의 FVD/FID/LPIPS/PSNR/SSIM을 비교한 결과, 전체 설계(Full)에서 가장 높은 품질을 보이는 것은 Simplex Encoding + Sparse Hub의 조합이며, 2-3개의 비교군보다 우수한 품질과 일관성을 보여준다. 특이점으로는 Simplex Encoding 도입 이후 FID와 LPIPS 측정치가 감소하고, PSNR/SSIM이 소폭 상승하는 경향을 보인다. 효율성 측면에서 Dense Attention 대비 Sparse Hub Attention은 2, 4, 8 에이전트에서 DiT latency와 Self-attention FLOPs를 크게 감소시키고, 에이전트 수가 증가할수록 차이가 커진다. Qualitative 결과에서는 2-에이전트 시나리오에서 두 스트림의 동기화가 유지되고, 4-에이전트로 확장 시에도 같은 프레임워크로 동작하며, Real-World 로봇_COORDination 과제에서도 협동 동작의 일관성을 보인다.

전체 아키텍처는 Cosmos-Predict2.5-2B TI2V 기반의 Latent Video Diffusion Transformer(DiT) 구성으로, 히든 차원 D=2048, 28개의 트랜스포머 블록, 16개의 어텐션 헤드, MLP 비율 4, AdaLN-LoRA(랭크 256)를 사용한다. 에이전트 아이덴티티는 Simplex Rotary Agent Encoding으로 도입되며, 4D RoPE(R4D)에서 축을 (t, p, h, w)로 분해하여 회전 행렬을 적용한다. p 축은 simplex 꼭짓점 s_v에 매핑되며 θ_p = α s_{π(p)}로 정의된다. 활성 에이전트 수 V는 고정 풀(pool) 크기이며, 학습 중 무작위로 2개의 꼭짓점을 선택하고 에이전트 슬롯 순서를 섞어 slot-specific overfitting을 방지한다. Sparse Hub Attention은 P×T 토큰으로 구성된 에이전트 토큰들과 K개의 허브 토큰으로 이루어지며, ℳhub(i,j) = 1[ρ(i) = ρ(j) ∨ ρ(i) = hub ∨ ρ(j) = hub]로 허브를 통한 메시지 전달 경로를 정의하고, ℳ(i,j) = 1[ b(j) ≤ b(i) ] · ℳhub(i,j)로 블록-인 인과성을 보장한다. 학습은 세 단계로 구성된다: (1) Bidirectional teacher를 Dense Self-Attention으로 사전학습; (2) Causal student를 Diffusion Forcing + Sparse Hub Attention으로 다중 스텝 학습; (3) Self-Forcing distillation으로 4단계 샘플링을 위한 few-step generator로 압축한다. 추론 시 KV 캐시를 사용해 과거 프레임의 키/값과 허브 상태를 재사용하며, per-view KV 캐시와 허브 KV 캐시를 분리 관리해 Cross-agent 정보 흐름을 허브를 통해 유지한다. 손실 함수는 flow-matching 방식의 ℒ_FM으로 z_σ에 대해 E[||v_θ(z_σ, σ, C) − (ε − z0)||^2]를 최소화한다. Conditioning C에는 초기 프레임 관찰 및 per-agent 액션 시퀀스가 포함된다.

현재 평가가 게임 환경과 로봇_COORDINATION에 주로 한정되고, 더 복잡하고 이질적인 장면에서의 일반화는 추가 연구가 필요하다. 고정된 simplex 풀 내의 에이전트 수 확장은 가능하지만, 매우 큰 인구의 경우 더 큰 밴드나 계층적 그룹화가 필요할 수 있다. 또한 3D 기하학이나 물리 제약을 명시적으로 강제하지 않으므로 장기 롤아웃에서 일관성이 누적될 수 있다.