MaineCoon: 실시간 오디오-비주얼 소셜 월드 모델 추구

소셜 플랫폼의 영상 콘텐츠가 일상적으로 소비되며 인터랙티브한 상황이 늘어나고 있다. 기존의 세계 모델은 물리적 환경 시뮬레이션이나 게임 내 탐사에 초점을 맞추고 있어 사람 중심의 소셜 다이내믹스를 실시간으로 반영하기 어렵다. MaineCoon은 22B 파라미터의 실시간 스트리밍 가능 오디오-비주얼 autoregressive 모델로, 실시간 상호작용과 멀티모달 동기화를 목표로 설계되었으며, 소셜 인터랙티브 애플리케이션의 가능성을 제시한다. 또한 에이전트적 스트리밍 추론, self-resampling, cross-modal representation alignment, domain-aware preference optimization 등을 도입해 학습 및 추론 효율성을 높인다.

Paragraph 1: 문제 정의와 접근. 기존의 비디오 생성 모델은 자주 비실시간이거나 bidirectional하게 동작하며, 긴 샘플링 길이에서의 고비용 계산과 스트리밍 가능성의 한계가 존재한다. MaineCoon은 pθ(x1:T | c) = ∏Tt=1 pθ(xt | x<t, c) 형태의 연쇄적 조건확률 모델로, 시퀀스를 chunk 단위로 순차 생성하는 autoregressive 구조를 채택한다. Paragraph 2: 해결 원리. Native streaming AR 학습으로, 각 청크를 clean-history 또는 model-에 의해 변형된 self-resampled-history로 학습한다. Lnative = (1 − ρ)LAR + ρLSR 형태의 커리큘럼으로 ρ를 증가시키며 롤아웃 길이를 확장한다. 자가 생성된 맥락에 맞춘 robust한 디코딩을 학습한다. Paragraph 3: 변화점. Representation alignment를 통해 학습 속도를 증가시키고 시각-청각 간의 상관관계를 강화한다. 토큰 관계(distillation) 기반의 정합 손실을 사용하며, 교사 모델(V-JEPA 2)의 관계 매트릭스를 학생 모델의 내부 표현에 맞춘다. Paragraph 4: 도메인 적응. Domain-aware DPO Expert를 도메인별로 학습한 후, Reinforced Online Policy Distillation(ROPD)으로 단일 유닛 스트리밍 정책으로 합치고, 다양한 소셜 도메인에 대한 성능을 균형 있게 최적화한다. Paragraph 5: 추론 프레임워크. 에이전트식 스트리밍 인퍼런스에서 planner/observer, cache-manager, look-ahead 버퍼 컨트롤러가 협력하여 실시간 속도와 길이 확장을 조율한다. 한정된 KV-cache와 anchor를 통해 드리프트를 억제하고, look-ahead 버퍼를 통해 재생 지연 없이 반응한다.

1. Native Streaming Autoregressive Training with Self-Resampling: 청크를 x1:T로 구성하고, 각 청크는 (xt) 시퀀스의 일부로 취급한다. pθ(xt | x<t, c)로 다음 청크를 생성하고, zt,τ 및 ut,τ를 이용한 velocity 추정을 학습한다. LAR은 fθ(zt,τ, τ, x<t, c)와 ut,τ의 L2 차이를 최소화한다. LSR은 self-resampled-history를 조건으로 한 velocity 추정 오차를 최소화한다. Lnative = (1 − ρ)LAR + ρLSR이며, ρ의 커리큘럼으로 학습을 진행한다.
2. Streaming Representation Alignment: 비주얼 스트림에 대해 V-JEPA 2의 교사 표현 g(clip)을 사용하여 token-relations 매트릭스 R(a)mn = a⊤m a n / (||am|| ||an||)를 계산하고, 특정 중간 레이어에서의 R 비교를 마진-클램프 손실로 맞춘다. TRD 손실은 Yˆ(ℓ)과 Y(ℓ)의 관계 매트릭스 차이를 최소화한다. Lalign은 LAR에 λalign으로 가중치를 두고 더해진다.
3. Posttraining: Multi-domain DPO and ROPD: 도메인 d에 대해 LoRA 어댑터 ϕd를 학습하고, x+와 x−의 쌍으로 구성된 선호 페어를 만든다. 각 도메인에서의 후보 샘플에 대해 LdROPD를 정의하고, 베이스 모델 θ0를 참조로 사용한다. 지역별 도메인 verifiers가 Ri를 부여하고, R¯를 산출한다. rROPD i,t,k = log Ri + (1 − R¯)(α ρi,t,k + 1 − α) 형태의 보상 구조를 도입하고, ve i,t,k = (1 − ηi) sg fθold(zit,k, τk, x<t, c) + ηi sg fϕd(zit,k, τk, x<t, c) 로 목표 속도를 구성한다. 각 도메인round에서 Lround를 계산하고, Lpost = Lround + λnative Lnative로 합친다.
4. Training infrastructure: 64×H100에서 FSDP2를 사용해 매개변수와 그래디언트를 샤딩하고, SP=4의 시퀀스 병렬화로 롤아웃을 관리한다. 8-bit AdamW를 사용하고, 학습 시간은 약 10k GPU-hours에 해당한다. 데이터는 합성 시나리오와 실제 소셜 비디오를 혼합하고 1M 규모의 롱 비디오를 활용한다.

메인 벤치마크: SocialVideo-Bench에서 MaineCoon은 0.934의 평균 스코어를 기록하며, 가장 강력한 벤치마크 대비 우수한 성능을 보였다(기존 최고 0.895). 9개 지표 중 6개에서 1위, 2개에서 2위에 해당했다. AVH(0.308) 및 JAVIS(0.272)에서 SOTA를 달성했고, 시각 품질 및 음향 품질에서도 우수했다. 효율성: 추론 속도 측면에서, 480P-20초 세팅에서 단일 H100 GPU로 31 FPS를 기록했고, 추론 청크 크기를 6으로 늘리면 47.5 FPS까지 증가했다. 이는 동일 규모의 백본임에도 불구하고 클레임된 스트리밍 속도에서 타 경쟁 모델보다 빠르다. 22B 모델임에도 불구하고 느리게 보이지 않으며, KV-cache 재활용·적은 스텝 수 샘플링 등의 설계로 실시간성 확보가 가능하다. 추가: 모델은 9개 지표 전반에서 우수한 성능을 보였으며, 특히 Audio-Visual Harmony(AVH)와 JAVIS에서 눈에 띄는 개선을 달성했다.

아키텍처: MaineCoon은 22B 규모의 오디오-비주얼 diffusion transformer로 구성되며, 청크 단위의 순차 생성과 causal AR를 기반으로 한다. 토큰-그리드 기반의 시퀀스 표현과 KV-cache를 사용해 롤아웃을 유지한다. 학습은 native streaming AR로, clean 히스토리 혹은 self-resampled 히스토리를 번갈아 가며 사용하고, ρ 커리큘럼으로 롤아웃 길이를 점진적으로 확장한다. 수학적 기초: pθ(x1:T | c) = ∏Tt=1 pθ(xt | x<t, c). LAR은 zt,τ, τ, x<t, c를 입력으로 받아 velocity를 예측하는 fθ의 차이의 제곱 평균으로 정의된다. LSR은 self-resampled-history를 조건으로 한 유사한 목표를 사용한다. Token relation distillation은 교사-학생 간의 관계 행렬 차이를 마진-클램프 손실로 최소화한다. ROPD는 domain-specific verifier의 결과와 그룹 성공률에 따라 보상을 조합하여 학습한다. Prior work vs. 차별점: 전통적 비디오 생성은 bidirectional 또는 비실시간 중심의 접근이었다. MaineCoon은 streaming, causal AR, sliding KV-cache, self-resampling, representation alignment, domain-aware 멀티도메인 학습 및 agentic streaming inference를 결합해 실시간성과 장기 롤아웃의 안정성을 동시에 달성한다. 구현/학습 세부: 64×H100의 FSDP2 샤딩, SP=4의 시퀀스 병렬, 8-bit AdamW, 학습 시간 약 10k GPU-hours, 1M 규모의 고품질 롱 비디오 데이터를 사용한다.