Wan-Streamer v0.1: 실시간 엔드투엔드 상호작용형 파운데이션 모델

단일 모델이 텍스트·오디오·비디오를 입력과 출력으로 동시에 처리해 모듈 경계에서 발생하는 대기 시간과 동기화 오류를 제거한다. 그 결과 모델 측 응답 약 200ms, 네트워크 포함 총 약 550ms의 서브초(미드 레이턴시) 풀-듀플렉스 상호작용을 달성한다.

문제 정의 및 기존 한계: 실시간 오디오·비주얼 상호작용은 입력과 출력이 시간상 중첩되는 풀-듀플렉스 특성을 지닌다. 기존 파이프라인 방식은 ASR, LLM, TTS, 애니메이션, 렌더링 등 모듈 경계를 넘나들며 지연과 오차를 누적시키고, 응답 타이밍과 시각적 피드백을 하나의 행동으로 학습하기 어렵다. 또한 서로 다른 모달리티의 토큰율·표현·목표가 달라 동기화가 복잡하다.

전체 접근: Wan-Streamer는 단일 Transformer에 사용자의 언어(u^t), 오디오(u^a), 비디오(u^v)와 에이전트의 언어(y^t), 오디오(y^a), 비디오(y^v)를 교차(interleaved)된 인과적 시퀀스로 인코딩·예측한다. 모델은 K개의 스트리밍 유닛에 대해 p_θ(y_{1:K}|u_{1:K})=∏k p_θ(y_k^t,y_k^a,y_k^v | u{≤k}^t,u_{≤k}^a,u_{≤k}^v, y_{<k}^t,y_{<k}^a,y_{<k}^v) 형태로 인과적 조건부 분해를 학습해 각 유닛을 생성하고 히스토리에 커밋한다.

메인 런타임/지연 결과: Thinker–Performer 두 GPU 배치에서 모델 측(signal-to-signal) 응답 지연 약 200 ms를 보고했다. 여기에 350 ms 양방향 네트워크 지연을 더하면 원격 사용자 기준 총 상호작용 지연 약 550 ms가 된다. 비디오 출력은 25 FPS로 서빙되며 본문 실험은 예비 192p 출력 해상도로 검증됐다.

아키텍처 개요: 단일 Transformer가 입력·출력 토큰을 interleaved causal sequence로 처리한다. 오디오·비디오 출력은 연속 잠재(z)로 표현되며, 언어 출력은 이산 토큰으로 표현된다. 모델 내부에는 인과적 오디오·비디오 VAE(encoder/decoder), 인과적 멀티모달 인코더, 인과적 멀티모달 디코더, 그리고 block-causal attention이 포함된다. 히스토리는 KV-cache로 유지된다.

현재 v0.1 결과는 예비 192p 출력 해상도에서 검증됐다. 고해상도(예: HD)로의 스케일업은 본문에서 향후 작업으로 남겨졌다.