솔라리스: 마인크래프트에서의 멀티플레이어 비디오 월드 모델 구축

기존의 행동 조건부 비디오 생성 모델(action-conditioned video generation models), 즉 비디오 월드 모델(video world models)은 단일 에이전트 관점에 국한되어 실제 환경의 다중 에이전트 상호작용(multi-agent interactions)을 포착하지 못하는 한계가 있습니다. 우리는 일관된 다중 시점 관측을 시뮬레이션하는 멀티플레이어 비디오 월드 모델인 솔라리스(Solaris)를 소개합니다. 이를 가능하게 하기 위해 마인크래프트(Minecraft)와 같은 비디오 게임에서 견고하고 지속적이며 자동화된 데이터 수집을 위해 설계된 멀티플레이어 데이터 시스템을 개발했습니다. 단일 플레이어 설정에 맞춰진 이전 플랫폼들과 달리, 우리의 시스템은 조정된 다중 에이전트 상호작용과 동기화된 비디오 및 행동 캡처를 지원합니다. 이 시스템을 사용하여 1,264만 개의 멀티플레이어 프레임을 수집했으며, 멀티플레이어 이동, 기억, 그라운딩(grounding), 건축 및 시점 일관성을 위한 평가 프레임워크를 제안합니다. 우리는 단일 플레이어에서 멀티플레이어 모델링으로 점진적으로 전환하는 단계적 파이프라인(staged pipeline)을 사용하여 솔라리스를 학습시켰으며, 양방향(bidirectional), 인과적(causal) 및 셀프 포싱(Self Forcing) 학습을 결합했습니다. 최종 단계에서는 더 긴 시계열의 티처(teacher)를 가능하게 하는 메모리 효율적인 셀프 포싱 변형인 체크포인트 셀프 포싱(Checkpointed Self Forcing)을 도입했습니다. 결과는 우리의 아키텍처와 학습 설계가 기존 베이스라인들을 능가함을 보여줍니다. 우리의 시스템과 모델을 오픈 소스로 공개함으로써 차세대 다중 에이전트 월드 모델의 토대를 마련하기를 희망합니다.