다중 플레이어 행동 스트림을 조건화하는 5B 파라미터 잠재 확산 기반 실시간 월드 모델

다중 행위자가 빠르게 상호작용하는 물리 기반 환경에서 월드 모델은 각 행위자의 영향력을 분리·귀속해야 예측 품질을 확보할 수 있다. 본 논문은 다른 에이전트를 환경의 일부로 취급하지 않고 각 에이전트의 행동 스트림을 명시적으로 조건화함으로써 상호작용을 모델링하는 방식을 제시했다. 이 방식은 실시간 생성과 긴 롤아웃 안정성이라는 실용적 요구를 충족하여 시뮬레이션, 게임 애널리틱스, 협력·대립 시나리오 연구에 직접적인 활용 가능성을 열었다.

월드 모델은 관찰된 영상과 행동을 입력으로 미래 관찰을 생성하는 함수로서, 단일 플레이어 설정에서는 다른 행위자들이 단순한 환경 요소로 흡수된다. 이 접근은 긴밀하게 결합된 다중 에이전트 상호작용을 가진 환경에서는 원인 귀속이 불명확해져 예측 성능과 물리적 일관성을 해친다. 본 논문은 행위자별 행동 스트림을 별도 조건으로 모델에 공급하여 장면 변화의 원인을 명시적으로 분리함으로써 이 한계를 극복하고자 했다.

전체 접근은 잠재 공간 기반의 비디오 생성 파이프라인 위에 다중 플레이어 조건화 모듈을 얹는 구조로 요약된다. 먼저 원시 영상과 행동 스트림을 적절한 비디오 코덱·인코더를 통해 잠재 표현으로 압축하고, 잠재 공간에서 확산 과정을 통해 미래 시퀀스를 샘플링한 뒤 디코더로 복원하는 흐름을 따른다. 다중 플레이어 조건화는 각 플레이어의 행동 시퀀스를 별도 입력 패스로 주어 모델 내부에서 행동-시각 상관관계를 학습하게 하며 이를 통해 장면 변화의 귀속을 학습한다.

모델은 5B 파라미터 규모로 학습되어 단일 Nvidia B200 GPU에서 초당 20프레임으로 4인 경기를 생성하는 성능을 보였다. 짧은 클립으로만 훈련했음에도 롤아웃 품질은 훈련 지평을 훨씬 넘어 다섯 분(측정한 최대 시간)까지 분포적 품질을 유지했고, 실제 관찰에서는 수 시간에 걸쳐 붕괴 징후가 보이지 않았다고 보고되었다. 추가 실험에서는 비디오 코덱, 생성 목적, 조건화 방식이 롤아웃의 안정성과 물리적 일관성에 실질적 영향을 미침이 확인되었고 데이터·모델 스케일이 행동 변화와 실패 모드에 미치는 양상을 정량적으로 제시했다.

전체 아키텍처는 입력 인코더, 잠재 확산 생성기, 조건화 모듈, 디코더로 구성된다. 입력 인코더는 원시 프레임과 각 플레이어의 행동 스트림을 받아 공통 잠재와 행동별 표현을 생성하며 확산 모델은 이 잠재 공간에서 미래 시퀀스를 점진적으로 샘플링한다. 다중 플레이어 조건화는 행동 스트림을 별도의 시퀀스 입력으로 처리하여 생성 중에 특정 시간대의 행동이 장면 변화에 미치는 영향을 모델이 학습할 수 있게 설계되었다.

논문은 데이터·모델 규모에 따른 능력과 함께 여전히 남는 실패 모드가 존재함을 보고했다. 구체적 실패 양상은 본문에서 정량적으로 탐구되었으나 초록 수준에서는 상세 원인과 보완책이 제시되지 않았다. 따라서 일부 시나리오에서는 물리적 일관성이나 장기 행동 귀속이 완전하지 않을 가능성이 명시적으로 남아 있다.