Gamma-World: 두 명을 넘어서는 Generative 멀티에이전트 월드 모델링

왜 중요한가

다중 에이전트 환경에서의 월드 모델링은 각 에이전트의 독립 제어성과 시계열 및 관점 간 일관성을 보장해야 한다. 기존 방법은 모든 토큰 간의 어텐션 비용이 증가하고, 학습 시 슬롯 고정으로 인해 permutation 유연성이 제한된다. Gamma-World는 permutation-symmetric한 Simplex Rotary Agent Encoding으로 에이전트 정체성을 고정된 슬롯 없이 표현하고, Sparse Hub Attention으로 교차에이전트 소통을 허브를 통해 제한해 계산 복잡도를 선형으로 감소시킨다. 또 Bidirectional teacher와 causal student 간의 distillation 및 KV caching으로 24 FPS의 실시간 스트리밍 롤아웃을 달성한다. 이로써 두 플레이어에서 네 플레이어로의 일반화가 추가 학습 없이 가능해지며, 멀티에이전트 시뮬레이션의 확장성과 실시간성이 크게 향상된다.

핵심 기여

Permutation-symmetric simplex 인코딩

에이전트를 슬롯에 고정하지 않고, 정다각형의 꼭짓점으로 표현하는 Simplex Rotary Agent Encoding을 제안한다. 이는 모든 에이전트 간 쌍거리의 일관성을 유지하면서 각 에이전트에 고유한 회전 위상을 부여하므로, 에이전트 수를 바꿔도 네트워크 구조를 변경하지 않고 확장 가능하다.

Sparse Hub Attention 도입

Cross-agent 어텐션을 허브 토큰으로 우회시키는 토폴로지를 제시한다. 에이전트 토큰은 동일 에이전트 스트림과 허브 토큰에만 주목하고, 허브 토큰은 모든 에이전트 및 다른 허브에 주목한다. 이는 파트 간 직접 어텐션을 마스킹하고, 비용을 O(PnL(nL+nK))로 선형화한다.

학습 파이프라인: 교사-학생 Distillation

Bidirectional teacher로 고품질 조건부 분포를 학습하고, 이를 2단계의 causal student로 distill한 뒤 Self-Forcing distillation으로 4단계 샘플링을 통해 실시간 스트리밍 가능한 모델로 구성한다. KV caching으로 과거 토큰과 허브 상태를 재사용한다.

핵심 아이디어 이해하기

단계별 아이디어 흐름은 다음과 같다. 시작점은 Latent video diffusion을 기반으로 한 멀티에이전트 영상 생성이다. 에이전트 축 p를 명시적으로 도입해, z0 ∈ R^{P×T×H×W×C} 형태의 다중 에이전트 잠재를 만든다. 3D RoPE를 확장한 4D RoPE를 통해 공간-시간-에이전트 축의 상대 위치 정보를 주입하고, 에이전트 정체성을 slot에 의존하지 않는 Simplex Vertex 인코딩으로 표현한다. cross-agent 상호작용은 Dense한 모든 토큰 간 어텐션 대신, 허브 토큰을 매개로 두 번의 모듈화된 주고받기로 구현한다. 이를 통해 에이전트 수가 증가해도 연산 비용은 선형으로 유지된다. 학습은 먼저 Bidirectional teacher로 고품질 조건부 분포를 학습하고, 이후 causal student에 의해 스트리밍 인퍼런스가 가능하도록 distillation한다. 마지막으로 Self-Forcing distillation으로 성능을 유지한 채로 few-step으로 압축한다. 실험적으로 2인/4인 환경에서 프레임 단위로 동시 제어가 가능한 롤아웃을 보여주고, Dense Attention 대비 품질을 개선한다. 또한 RealOmin-Open Dataset의 로봇 협동 예시에서도 동일 프레임워크를 적용해 물리적 시나리오에서도 일관된 동작을 보인다.

방법론

단일 프레임이 아니라 P명의 에이전트가 동기화된 입력을 받는 문제로 정의한다. 입력은 각 에이전트의 시각 스트림과 행동 시퀀스로 구성되며, Z0 ∈ R^{P×T×H×W×Cz} 형태의 잠재를 에이전트 축으로 확장한다. 액션은 f_a로 매 에이전트의 동작을 D 차원 벡터로 매핑하고, 각 블록에서 𝛽_pℓ,𝑡를 이용해 해당 토큰에 액션 정보를 주입한다. Simplex Rotary Agent Encoding은 𝑑rope를 𝑑𝑡+𝑑𝑝+𝑑ℎ+𝑑𝑤로 분해하고, 에이전트를 𝑉개의 simplex 꼭짓점에 매핑한다. 각 에이전트의 회전 각도 θ_p = α s_{π(p)}로 정의하고, Rsimp-4D으로 RoPE를 적용한다. Sparse Hub Attention은 𝑘 허브 토큰과 P×T개의 에이전트 토큰 구성으로, 토큰 간 직접적인 교환은 마스킹되고, 에이전트 → 허브 → 에이전트의 경로로 정보가 흐른다. 계층 구조는 𝑏(𝑖)로 블록 인덱스를 부여하고, ℳ(𝑖,𝑗) = 1[𝑏(𝑗) ≤ 𝑏(𝑖)]·ℳhub(𝑖,𝑗)로 차단된다. 학습은 3단계로 구성된다: (1) Bidirectional teacher는 Dense Self-Attention으로 조건부 denoising을 학습한다; (2) Causal student는 Diffusion Forcing과 Sparse Hub Attention으로 다중 단계 캐스케이딩을 학습한다; (3) Conditional Self-Forcing distillation으로 4단계 샘플링의 품질을 유지하며 few-step generator로 축약한다. 추론 시 KV 캐시로 과거 토큰과 허브 상태를 재활용하고, 24 FPS 스트리밍을 수행한다. DiT latent video diffusion의 손실 함수 L_FM은 z_σ와 z0 간의 차이를 최소화하도록 설계되며, Conditioning C에는 초기 관찰과 per-agent actions가 포함된다. 두 단계 학습에서 데이터는 2-agent 게임 샘플로 시작하되, 4-agent 스케일링은 추가 학습 없이 가능하도록 설계된다.

주요 결과

주요 벤치마크에서 Gamma-World의 성능은 Frame concat 대비 향상을 보였다. FVD/FID 지표에서 Gamma-World(Our)의 수치는 각각 두-Agent 평가에서 184.1/24.8, 199.3/24.0을 기록했고, 4-agent 평가에서도 191.5/21.2, 264.5/32.1로 나타났다. 비슷한 카테고리에서 Solaris 대비 우수하거나 유의미한 차이를 보였고 Frame concat 대비 더 나은 일관성 및 비디오 품질을 달성했다. 상호작용 아키텍처 ablative 실험에서 Spatial Concat, Sequence Concat, View Embedding, Simplex Encoding의 FVD/FID/LPIPS/PSNR/SSIM을 비교한 결과, 전체 설계(Full)에서 가장 높은 품질을 보이는 것은 Simplex Encoding + Sparse Hub의 조합이며, 2-3개의 비교군보다 우수한 품질과 일관성을 보여준다. 특이점으로는 Simplex Encoding 도입 이후 FID와 LPIPS 측정치가 감소하고, PSNR/SSIM이 소폭 상승하는 경향을 보인다. 효율성 측면에서 Dense Attention 대비 Sparse Hub Attention은 2, 4, 8 에이전트에서 DiT latency와 Self-attention FLOPs를 크게 감소시키고, 에이전트 수가 증가할수록 차이가 커진다. Qualitative 결과에서는 2-에이전트 시나리오에서 두 스트림의 동기화가 유지되고, 4-에이전트로 확장 시에도 같은 프레임워크로 동작하며, Real-World 로봇_COORDination 과제에서도 협동 동작의 일관성을 보인다.

기술 상세

전체 아키텍처는 Cosmos-Predict2.5-2B TI2V 기반의 Latent Video Diffusion Transformer(DiT) 구성으로, 히든 차원 D=2048, 28개의 트랜스포머 블록, 16개의 어텐션 헤드, MLP 비율 4, AdaLN-LoRA(랭크 256)를 사용한다. 에이전트 아이덴티티는 Simplex Rotary Agent Encoding으로 도입되며, 4D RoPE(R4D)에서 축을 (t, p, h, w)로 분해하여 회전 행렬을 적용한다. p 축은 simplex 꼭짓점 s_v에 매핑되며 θ_p = α s_{π(p)}로 정의된다. 활성 에이전트 수 V는 고정 풀(pool) 크기이며, 학습 중 무작위로 2개의 꼭짓점을 선택하고 에이전트 슬롯 순서를 섞어 slot-specific overfitting을 방지한다. Sparse Hub Attention은 P×T 토큰으로 구성된 에이전트 토큰들과 K개의 허브 토큰으로 이루어지며, ℳhub(i,j) = 1[ρ(i) = ρ(j) ∨ ρ(i) = hub ∨ ρ(j) = hub]로 허브를 통한 메시지 전달 경로를 정의하고, ℳ(i,j) = 1[ b(j) ≤ b(i) ] · ℳhub(i,j)로 블록-인 인과성을 보장한다. 학습은 세 단계로 구성된다: (1) Bidirectional teacher를 Dense Self-Attention으로 사전학습; (2) Causal student를 Diffusion Forcing + Sparse Hub Attention으로 다중 스텝 학습; (3) Self-Forcing distillation으로 4단계 샘플링을 위한 few-step generator로 압축한다. 추론 시 KV 캐시를 사용해 과거 프레임의 키/값과 허브 상태를 재사용하며, per-view KV 캐시와 허브 KV 캐시를 분리 관리해 Cross-agent 정보 흐름을 허브를 통해 유지한다. 손실 함수는 flow-matching 방식의 ℒ_FM으로 z_σ에 대해 E[||v_θ(z_σ, σ, C) − (ε − z0)||^2]를 최소화한다. Conditioning C에는 초기 프레임 관찰 및 per-agent 액션 시퀀스가 포함된다.

한계점

현재 평가가 게임 환경과 로봇_COORDINATION에 주로 한정되고, 더 복잡하고 이질적인 장면에서의 일반화는 추가 연구가 필요하다. 고정된 simplex 풀 내의 에이전트 수 확장은 가능하지만, 매우 큰 인구의 경우 더 큰 밴드나 계층적 그룹화가 필요할 수 있다. 또한 3D 기하학이나 물리 제약을 명시적으로 강제하지 않으므로 장기 롤아웃에서 일관성이 누적될 수 있다.

실무 활용

멀티에이전트 환경에서의 실시간 인터랙티브 시뮬레이션에 적용 가능하며, 2~4인 협동/경합 시나리오에서 고품질의 조건부 롤아웃을 생성한다. Simplex Rotary Encoding과 Sparse Hub Attention을 통해 확장성을 유지하면서도 실시간 스트리밍이 가능하다.

멀티플레이어 게임에서 실시간 시각적 시뮬레이션과 상호작용 평가
협동 로봇 팔의 실시간 좌표 동시 예측 및 제어 시뮬레이션
실세계 로봇 협력 시나리오의 비주얼 예측 및 시나리오 설계
다양한 에이전트 수로의 일반화 연구(2→4 인 확장)
실시간 비디오월드 모델의 학습-배포 파이프라인 구성

코드 공개 여부: 미확인

키워드

world models(월드 모델)multi-agent interaction(다중 에이전트 상호작용)rotary angle space(로터리 각도 공간)permutation-symmetric(치환 대칭)sparse hub attention(희소 허브 어텐션)causal student(인과적 학생)KV caching(KV 캐싱)diffusion teacher(확산 교사)action-responsive generation(액션 반응형 생성)

용어 해설

단순체 로터리 에이전트 인코딩(Simplex Rotary Agent Encoding): — 에이전트를 교환 가능하게 표현하기 위해 4D RoPE 축에 에이전트 축을 추가하고, 정규상 간섭 없이 벡터 정점을 이용해 에이전트 정체성을 치환 대칭으로 부여하는 인코딩 방식이다.
희소 허브 어텐션(Sparse Hub Attention): — 에이전트 토큰들이 서로 간의 모든 쌍 교환을 피하고, 허브 토큰을 통해 정보를 전달하는 상호작용 구조로, 크기가 커지더라도 Cross-agent 어텐션 비용을 선형으로 감소시키는 어텐션 토폴로지이다.
KV 캐싱(KV caching): — 생성 중 과거 토큰의 키/값(K,V) 상태를 캐시로 유지해 스트리밍 인퍼런스 시점에서 재사용함으로써 블록-인과 시스템 지연을 줄이는 기법이다.
확산 교사(diffusion teacher): — 양방향(_bidirectional) 확산 모델을 학습 시 고품질의 조건부 분포를 제공하는 교사 모델로 사용하는 구성요소이다.
인과적 학생(causal student): — block-causal 어텐션과 Sparse Hub Attention을 갖춘 학습-추론 일관성을 유지하는 다단계 시퀀스 생성 모델로, 실시간 스트리밍 인퍼런스에 적합하게 설계된 학생 모델이다.

Gamma-World: 두 명을 넘어서는 Generative 멀티에이전트 월드 모델링

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

실행 가능한 상태로 지속되는 생성형 게임 세계

MiniMax-H3를 행동 가능한 월드 모델로 전환

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

실행 가능한 상태로 지속되는 생성형 게임 세계

MiniMax-H3를 행동 가능한 월드 모델로 전환