Wan-Streamer v0.3: 세계(world)와 이벤트 스트림(event stream) 분해로 실시간 풀-듀플렉스 오디오·비주얼 상호작용을 확장한 프레임워크

비디오 인터랙션을 세계(context)와 이벤트(stream)로 분리하면 일반적인 비디오 사전학습 목표를 정의할 수 있어 다양한 실시간 작업에 학습된 '장면의 시간적 진화' 역량을 전이할 수 있다. 이 접근은 낮은 모델 사이드 지연(약 200ms)을 유지하면서 고해상도(640×368, 25 FPS) 스트리밍을 가능하게 하여 실시간 음성·행동 동기화가 필요한 응용에서 응답의 일관성과 현실감을 확보한다. 실무적으로는 한 번만 프리필(prefill)되는 세계 정보를 조건으로 하여 이후 이벤트를 온라인으로 생성하므로 배포 환경에서 반복적인 문맥 재계산 비용을 줄일 수 있다.

출발점은 실시간 스트리밍 비디오를 하나의 인과적 시퀀스로 다루는 기존 Transformer 기반 접근에서 비롯된다. 기존 방식은 전체 과거 히스토리를 조건으로 다음 응답을 생성했으나, 긴 컨텍스트를 반복적으로 포함하면 계산과 메모리 비용이 누적되어 실시간 제약을 위협한다. Wan-Streamer는 이를 해소하기 위해 비디오를 ‘지속적 세계’와 ‘시간적 이벤트 스트림’으로 명확히 분리하여 세계는 한 번만 프리필하고 이벤트는 단위 단위로 예측하는 방식으로 인과적 부담을 재분배한다.

전체 접근은 사전학습 단계에서 대규모 자연 비디오로부터 각 클립의 세계 W와 시계열 이벤트 e_k를 추출하여 모델이 다음 이벤트와 그에 상응하는 오디오·비디오 잠재를 인과적으로 예측하도록 구성되었다. 세계는 유연한 구조화 레코드 W = {w_j}{j∈S(W)}로 표현되며 시각·음향·캐릭터 필드를 포함할 수 있고, 이벤트는 e_k=(τ_k, c_k, d_k) 형태로 시간 구간 τ_k, 관련 캐릭터 c_k 또는 무주체표시, 자유형 설명 d_k을 갖는다. 학습 목표는 수식화된 확률적 인과 분해 p_θ(e{1:K} | W, x_{1:K}) = ∏k p_θ(e_k | W, x{≤k}, e_{<k})로 설정되어 각 스트리밍 단위를 연속적으로 예측하는 것이다.

핵심 런타임 결과는 v0.2의 서빙 토폴로지와 운영 포인트를 그대로 유지하면서 640×368 해상도와 25 FPS를 지원하는 상태에서 모델 측 응답 지연을 약 200ms로 유지한 점이다. 스트리밍 단위는 160ms이며, 네트워크 예산 350ms를 포함한 총 상호작용 지연은 약 550ms로 보고되었다. 질적 관찰에서 v0.3은 발화와 괄호형 행동 지시문을 같은 스트림으로 생성하여 얼굴 표정, 자세 변화, 주변 사물과의 상호작용 같은 행동이 발화 타이밍과 동기화된 형태로 실시간에 가깝게 실현되었다.

모델 아키텍처 관점에서 v0.3은 텍스트 토크나이저, 오디오 인코더, 비디오 인코더를 통해 입력을 토큰화·임베딩하고 블록 인과적(block-causal) 어텐션으로 스트리밍 프레임 단위의 인과성을 유지한다. 언어형 토큰과 괄호형 행동 지시문은 하나의 토큰 시퀀스로 합쳐지며 이산 토큰은 다음 토큰 예측 목표를 통해 학습된다. 연속적 오디오·비디오 잠재는 conditional flow matching으로 학습되어 생성된 잠재가 시간적·장면 맥락에 맞춰 디코더에서 동기화된 오디오·비디오로 역변환된다.

논문은 제시한 세계-이벤트 분해의 일반성은 주장하되 본 연구에서 체계적으로 평가한 다운스트림은 실시간 풀-듀플렉스 오디오·비주얼 상호작용으로 한정되었다. 다른 제안된 응용 예시(로밍, 조작 등)에 대한 체계적 전이 성능 평가와 실험적 결과는 추후 작업으로 남겨두었다. 또한 서빙 토폴로지는 v0.2를 계승하였으므로 하드웨어·스케일러빌리티에 관한 상세한 벤치마크는 본문에 포함되어 있지 않다.