MiniMax-H3를 행동 가능한 월드 모델로 전환

왜 중요한가

대규모 video generator가 이미 자연어로 대략적인 움직임을 따를 수 있다는 점을 활용해, 별도의 action-specific module 없이 interactive world model로 확장한 연구입니다. 8,000개 규모의 gameplay 데이터와 trainable parameters 0.199%만으로 시간별 행동 제어와 미학습 행동 조합·장면에 대한 일반화를 함께 확보했다는 점에서, 영상 생성 사전학습 지식을 저수준 제어로 재사용하는 경로를 마련합니다.

핵심 기여

자연어 기반 행동 인터페이스

캐릭터 제어와 카메라 제어를 각각 문장 절로 바꾼 뒤 결합해, MiniMax-H3가 이미 학습한 텍스트 조건화 경로로 행동을 입력합니다.

시간 구간별 행동 정렬

각 action prompt를 대응하는 video latent interval에 연결하고 single-egress routing으로 해당 시점의 시각 토큰에만 직접 전달합니다.

경량 적응과 일반화

8,000개 gameplay samples와 0.199% trainable parameters로 학습하면서 미학습 행동 조합과 다양한 초기 장면에서도 캐릭터·카메라 제어를 유지합니다.

핵심 아이디어 이해하기

기존 text-to-video 모델은 장면 전체에 하나의 문장을 적용하므로 “처음에는 카메라가 왼쪽으로 움직이고 이후 오른쪽으로 움직인다”처럼 시간에 따라 바뀌는 명령을 각 구간에 정확히 배정하기 어렵습니다. MiniMax-H3는 이미 자연어를 통해 캐릭터와 카메라의 거친 움직임을 이해하지만, 하나의 global prompt만으로는 명령의 시간 위치가 분리되지 않습니다.

H3-World는 외부 행동을 캐릭터 절과 카메라 절로 나누고, 각 video latent interval마다 하나의 결합 문장을 만듭니다. 예를 들어 캐릭터의 backward-left 명령과 카메라의 slow right-pan 명령을 하나의 문장으로 묶은 뒤 H3 encoder와 token refiner를 거쳐 해당 영상 구간의 토큰과 함께 packed sequence에 배치합니다. 입력은 행동 문장과 초기 관찰·정적 의미 조건이고, 처리는 공유 텍스트 경로의 인코딩이며, 출력은 시간별 행동을 반영한 미래 video latent입니다.

Bidirectional Self-Attention에서는 시간 위치를 맞추는 것만으로 다른 action span이 잘못된 영상 구간을 읽는 문제를 막기 어렵습니다. 그래서 각 action span이 대응하는 video latent를 통해서만 시각 스트림에 직접 들어가도록 routing mask를 만들고, LoRA가 허용된 경로의 attention projection을 조정합니다. 그 결과 video-to-video attention을 통한 장면 연속성은 유지하면서 각 명령의 영향 시점을 분리합니다.

방법론

입력은 초기 관찰 I₀, 정적 semantic condition, 그리고 시간 순서가 있는 행동 시퀀스입니다. 각 상태에는 캐릭터·카메라 키 8개와 camera-speed flag 1개가 포함되며, 한 video latent가 담당하는 여러 RGB frame 안에서 활성화된 키를 하나의 latent-level state로 집계합니다. 반대 방향 키는 prompt를 만들기 전에 취소하고, 캐릭터 명령 9종과 카메라 명령 16종을 각각 문장 절로 변환한 뒤 두 절을 연결합니다.

각 시간 구간의 prompt는 공유 H3 encoder와 2-layer token refiner를 거쳐 action span이 됩니다. 초기 관찰은 multimodal H3 encoder를 통한 static semantic tokens와 visual VAE를 통한 first-frame condition으로 나뉘어 처리됩니다. 이후 static tokens, action spans, first-frame condition, 미래 video latents, padding을 하나의 packed sequence로 묶고, action span과 대응 video latent에 같은 상대적 시간 위치를 부여해 text-before-video 순서를 유지합니다.

H3의 Self-Attention 안에서는 action span을 key로 읽을 수 있는 대상을 같은 span과 대응 video latent로 제한합니다. 대응되지 않는 video latent·다른 action span·정적 토큰은 해당 action span을 직접 읽지 못하며, 모든 video latent 사이의 기존 양방향 attention은 유지됩니다. Backbone과 H3 encoder·visual VAE는 고정하고 QKV projection, output projection, 2-layer token refiner에 rank-32 LoRA를 적용하며, native H3 denoising objective를 그대로 사용합니다.

주요 결과

학습 데이터는 ABot-World-Explorer-500h에서 만든 7,872개 gameplay clip이고, 평가에는 별도 128개 clip을 사용했습니다. 각 clip은 24 fps의 124 frames, 832 × 480 해상도이며 37개의 latent-aligned action prompt를 제공합니다. 10,000 optimization steps, learning rate 1 × 10⁻⁴, inference 50 denoising steps로 생성한 결과에서 H3-World는 초기 장면의 배치와 인물 외형을 유지하면서 기록된 캐릭터·카메라 움직임을 따랐습니다.

카메라가 처음 15개 temporal latent에서 왼쪽으로 빠르게 이동하고 이후 22개에서 오른쪽으로 빠르게 이동하는 조건에서, global prompt를 사용한 frozen H3의 누적 horizontal flow는 전반부 0.0, 후반부 −17.3이었습니다. LoRA를 0으로 둔 per-latent interface는 −0.1과 0.0, mean absolute horizontal flow 0.003으로 거의 정지했지만, 학습된 H3-World는 전반부 +52.7, 후반부 −106.0을 기록해 두 방향과 전환 시점을 모두 따랐습니다. 따라서 span별 문장을 넣는 것만으로는 부족하고, LoRA가 시간 연결을 실제 시각 동역학으로 사용하는 데 필요합니다.

행동 공간의 구조적 조합 135개 중 학습에 등장한 조합은 83개, 보지 못한 유효 조합은 52개였습니다. H3-World는 캐릭터 절과 카메라 절이 각각 다른 조합에서만 학습된 미등장 조합도 held-out gameplay와 out-of-distribution 장면에서 수행했으며, third-person·first-person, 실내·실외, fantasy·science-fiction 등 6개 초기 관찰에서도 요청된 움직임과 장면 스타일을 유지했습니다. 고정된 초기 관찰과 seed에서 행동만 바꾸면 정지·전진·좌우 strafing과 slow·fast pan의 차이가 분리되어 나타났습니다.

기술 상세

H3-World의 행동 공간은 캐릭터 명령 집합 U와 카메라 명령 집합 C의 조합입니다. 전체 Cartesian product는 9 × 16 = 144개이며, 제어 사양상 구조적으로 유효한 조합은 135개입니다. 학습 prompt의 20개 최빈 조합이 전체의 71.4%, 40개가 95.4%를 차지해 조합 편향이 큰 환경에서 미학습 조합을 평가할 수 있습니다.

시간 정렬은 각 prompt pₖ를 H3 encoder와 token refiner에 통과시켜 action span Aₖ로 만든 뒤, 대응하는 video latent Vₖ와 같은 상대적 시간 좌표에 배치하는 방식입니다. 각 latent는 VAE decoding 후 여러 RGB frame을 나타내므로 prompt 하나가 frame 단위가 아닌 H3의 native temporal partition에 맞춰 짧은 영상 구간을 제어합니다. 학습 중에는 noised target latent가 native H3 denoising objective의 입력으로 사용됩니다.

Single-egress routing은 action span Aₖ가 key일 때 같은 action span과 Vₖ만 직접 읽히게 하고, Aₖ가 query일 때도 static context·first-frame condition·native audio context·자기 span·Vₖ에 대한 접근만 허용합니다. 이 경로에서 행동 효과가 먼저 Vₖ에 들어간 뒤 video-to-video attention을 따라 전파되므로, 명령별 시간 분리는 유지하면서 motion continuity와 scene consistency를 위한 전체 horizon 정보 교환은 남습니다.

학습 가능한 부분은 QKV와 output projection의 LoRA update 및 2-layer token refiner이며, pretrained H3 backbone·encoder·visual VAE는 고정됩니다. 7,872개 학습 clip, rank-32 LoRA, 10,000 steps로 0.199%의 파라미터만 조정했고, inference에서는 124 frames와 50 denoising steps를 사용했습니다. Farneback dense optical flow의 영상별 mean horizontal flow를 누적해 카메라의 좌우 움직임을 측정했으며, 양수와 음수는 각각 왼쪽·오른쪽 카메라 움직임을 뜻합니다.

한계점

현재 연구는 short-horizon generation에 초점을 두며, compositional generalization과 visual transfer를 주로 대표 사례로 평가합니다. 행동 조합·장면·random seed 전반에서 제어 신뢰도를 정량화하는 더 체계적인 평가가 필요합니다. 또한 fixed-length segment만 생성하고 persistent world state, real-time interaction, planning, policy learning은 제공하지 않습니다.

실무 활용

H3-World는 자연어 또는 키보드 기반의 캐릭터·카메라 행동 시퀀스를 받아 초기 이미지에서 124-frame 영상 구간을 생성하는 연구용 world-model adaptation입니다. 공개된 code와 model 경로가 있어 동일한 인터페이스를 이용한 게임 시뮬레이션·행동 조건 영상 생성 실험에 활용할 수 있습니다.

초기 관찰과 시간별 키보드 상태를 이용한 게임 플레이 미래 영상 생성
캐릭터 이동과 카메라 pan·tilt를 조합한 controllable video generation
학습에 없던 캐릭터·카메라 행동 조합의 compositional generalization 평가
서로 다른 게임 장면·렌더링 스타일에서 행동 인터페이스의 시각적 전이 평가

코드 공개 여부: 공개

코드 저장소 보기

키워드

H3-WorldMiniMax-H3LoRA(저순위 적응)월드 모델(환경 동역학 생성 모델)시간적 Attention 라우팅행동 조건 Video Generation(영상 생성)

용어 해설

월드 모델(World Model): — 환경이 시간에 따라 어떻게 변하는지 학습하고, 외부 행동에 따른 시각적 미래를 생성하는 모델입니다. H3-World는 캐릭터 이동과 카메라 움직임을 행동 입력으로 받아 다음 영상 구간을 생성하는 방식으로 이 개념을 구현합니다.
잠재 표현 정렬(Latent Alignment): — 입력 명령과 생성 영상의 잠재 구간을 시간상 대응시키는 방법입니다. 각 행동 문장을 특정 video latent interval에 연결해 한 영상 안에서 행동이 바뀌는 시점과 생성 결과가 어긋나지 않도록 합니다.
시간적 Attention 라우팅(Temporal Attention Routing): — Self-Attention에서 각 시간 구간의 명령이 지정된 video latent에만 직접 전달되도록 정보 흐름을 제한하는 기법입니다. 서로 다른 행동의 영향이 다른 시점으로 번지는 control leakage를 줄이는 역할을 합니다.
단일 진입점 라우팅(Single-Egress Routing): — 각 action span이 대응하는 하나의 video latent를 통해서만 시각 스트림에 직접 영향을 주도록 설계한 routing 구조입니다. 이후 video-to-video attention은 유지해 장면 연속성을 보존하면서 행동별 직접 진입점을 분리합니다.
저순위 적응(Low-Rank Adaptation): — 기존 모델의 전체 가중치를 갱신하지 않고 저순위 행렬 업데이트만 학습하는 Fine-tuning 방식입니다. H3-World는 H3 Self-Attention의 QKV·출력 projection과 token refiner에 LoRA를 적용해 학습 가능한 파라미터를 0.199%로 제한합니다.

MiniMax-H3를 행동 가능한 월드 모델로 전환

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

EchoWM으로 여는 오디오·비디오 세계

외부 기하 메모리로 끝없는 비디오 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

EchoWM으로 여는 오디오·비디오 세계

외부 기하 메모리로 끝없는 비디오 생성