Wan-Streamer v0.1: 실시간 엔드투엔드 상호작용형 파운데이션 모델

단일 모델이 텍스트·오디오·비디오를 입력과 출력으로 동시에 처리해 모듈 경계에서 발생하는 대기 시간과 동기화 오류를 제거한다. 그 결과 모델 측 응답 약 200ms, 네트워크 포함 총 약 550ms의 서브초(미드 레이턴시) 풀-듀플렉스 상호작용을 달성한다.

왜 중요한가

핵심 기여

단일 Transformer로 양방향 멀티모달 입출력 통합

언어, 오디오, 비디오를 입력과 출력 토큰으로 모두 표현해 단일 Transformer에서 인과적 시퀀스로 처리한다. 외부 ASR/VAD/TTS/애니메이션/비디오 생성 모듈에 의존하지 않고 인식·추론·생성·응답 타이밍·턴 관리·교차 모달 동기화를 하나의 모델 내부에서 학습한다.

완전 인과성(multimodal causal) 스택 설계

스트리밍에 맞춘 인과적 오디오·비디오 VAE, 인과적 인코더·디코더, 그리고 블록-인과 어텐션(block-causal attention)을 도입해 각 스트리밍 유닛(예: 160ms)에서 즉시 사용 가능한 잠재와 인과적 컨텍스트를 유지한다.

Flow-Matching 기반 잠재 공동 생성

오디오·비디오 출력은 연속 잠재공간에서 flow-matching 방식으로 생성한다. 노이즈로 섞인 잠재 z_τ를 입력하면 모델 f_θ가 ∂z_τ/∂τ(속도 필드)를 예측하도록 학습해 디노이징을 수행하고, 생성된 깨끗한 잠재를 히스토리에 커밋한다.

Thinker–Performer 저지연 추론 아키텍처

추론 시 계산을 thinker와 performer로 분리해 겹침(overlap)을 최대화한다. thinker는 현재 프레임 인코딩·짧은 token-causal Transformer 경로·디코딩을, performer는 다음 프레임의 잠재 생성(flow-matching solver)을 담당해 모델 측 응답 약 200ms, 전체 상호작용 약 550ms를 달성한다.

저지연을 위한 증류 및 롤링(distillation) 전략

CFG와 다단계 solver를 갖춘 강한 교사로부터 학생을 증류해 solver 단계 수를 줄이면서 오디오·비디오 품질을 보존한다. 롤링 증류(self-forcing + distribution matching)를 통해 학생의 장기 롤아웃 품질 저하를 완화한다.

핵심 아이디어 이해하기

문제 정의 및 기존 한계: 실시간 오디오·비주얼 상호작용은 입력과 출력이 시간상 중첩되는 풀-듀플렉스 특성을 지닌다. 기존 파이프라인 방식은 ASR, LLM, TTS, 애니메이션, 렌더링 등 모듈 경계를 넘나들며 지연과 오차를 누적시키고, 응답 타이밍과 시각적 피드백을 하나의 행동으로 학습하기 어렵다. 또한 서로 다른 모달리티의 토큰율·표현·목표가 달라 동기화가 복잡하다.

방법론

전체 접근: Wan-Streamer는 단일 Transformer에 사용자의 언어(u^t), 오디오(u^a), 비디오(u^v)와 에이전트의 언어(y^t), 오디오(y^a), 비디오(y^v)를 교차(interleaved)된 인과적 시퀀스로 인코딩·예측한다. 모델은 K개의 스트리밍 유닛에 대해 p_θ(y_{1:K}|u_{1:K})=∏k p_θ(y_k^t,y_k^a,y_k^v | u{≤k}^t,u_{≤k}^a,u_{≤k}^v, y_{<k}^t,y_{<k}^a,y_{<k}^v) 형태로 인과적 조건부 분해를 학습해 각 유닛을 생성하고 히스토리에 커밋한다.

주요 결과

메인 런타임/지연 결과: Thinker–Performer 두 GPU 배치에서 모델 측(signal-to-signal) 응답 지연 약 200 ms를 보고했다. 여기에 350 ms 양방향 네트워크 지연을 더하면 원격 사용자 기준 총 상호작용 지연 약 550 ms가 된다. 비디오 출력은 25 FPS로 서빙되며 본문 실험은 예비 192p 출력 해상도로 검증됐다.

기술 상세

아키텍처 개요: 단일 Transformer가 입력·출력 토큰을 interleaved causal sequence로 처리한다. 오디오·비디오 출력은 연속 잠재(z)로 표현되며, 언어 출력은 이산 토큰으로 표현된다. 모델 내부에는 인과적 오디오·비디오 VAE(encoder/decoder), 인과적 멀티모달 인코더, 인과적 멀티모달 디코더, 그리고 block-causal attention이 포함된다. 히스토리는 KV-cache로 유지된다.

한계점

현재 v0.1 결과는 예비 192p 출력 해상도에서 검증됐다. 고해상도(예: HD)로의 스케일업은 본문에서 향후 작업으로 남겨졌다.

실무 활용

실시간 양방향 오디오·비디오 상호작용을 필요로 하는 응용에서 도입 가능성이 높다. 단일 모델로 인식·추론·생성·동기화를 통합하므로 파이프라인 구현 대비 지연과 동기화 오류가 줄어든다.

실시간 디지털 휴먼·가상 호스트: 방송·라이브 쇼에서 즉각적 시각·음성 반응이 필요한 캐릭터
대화형 원격 협업 에이전트: 영상 회의 중 사용자 행동에 즉시 반응하는 보조자
인터랙티브 게임 NPC: 플레이어 행동에 실시간으로 반응하는 멀티모달 에이전트
교육용 튜터/시뮬레이터: 학생의 음성·시선·동작을 수신해 동시 반응을 생성하는 시스템

코드 공개 여부: 미확인

키워드

Transformer(Transformer)block-causal attention(블록-인과 어텐션)flow-matching(Flow-Matching)causal VAE(인과적 VAE)real-time streaming(실시간 스트리밍)thinker-performer(Thinker–Performer 추론)

용어 해설

블록-인과 어텐션(Block-Causal Attention): — Transformer 내부에서 입력·출력 토큰을 인과적 블록 단위로 구분해, 동일 블록 내에서는 과거 토큰만 참조하도록 제한하는 어텐션 방식이다. 각 스트리밍 유닛(예: 160ms) 단위로 KV-cache를 유지해 이전 블록의 문맥을 보존하면서 현재 블록의 토큰만 계산하므로 실시간 누적 컨텍스트를 유지하며 N² 연산 폭발을 완화한다.
플로우-매칭(Flow-Matching): — 연속 잠재공간에서 노이즈 변수를 깨끗한 목표 잠재로 되돌리는 속도(velocity) 필드를 학습하는 생성 기법이다. 노이즈 섞인 z_τ를 입력으로 받아 f_θ가 ∂z_τ/∂τ(=ϵ−z0)을 예측하도록 MSE로 학습하면, 디노이징 과정을 통해 오디오·비디오 잠재를 생성한다. 연속적 잠재 생성에 적합해 실시간 latent generation에 활용된다.
인과적 VAE(Causal VAE): — 스트리밍 환경에서 사용하도록 설계된 변분 오토인코더로, 인코딩과 디코딩이 인과성(causality)을 지키도록 구조화된다. 즉, 현재 시점 이전의 정보만 사용해 잠재를 생성·재구성하므로 실시간 인코딩·디코딩 시점에 맞춰 즉시 사용 가능한 잠재 표현을 제공한다.
KV 캐시(KV-Cache): — Transformer의 키-값(Key-Value) 누적 표현을 저장하는 메모리 구조로, 이전 스트리밍 유닛에서 계산한 attention 키·값을 보존한다. thinker와 performer 사이에 KV 슬라이스를 교환하면 전체 대화·장면 이력을 유지하면서 계산을 중복하지 않아도 된다.

Wan-Streamer v0.1: 실시간 엔드투엔드 상호작용형 파운데이션 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

StreamArena와 StreamMind

MOSS-VL 실시간 상호작용 기술 보고서

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

StreamArena와 StreamMind

MOSS-VL 실시간 상호작용 기술 보고서