Wan-Streamer v0.2: 지연을 유지하면서 출력 해상도를 높인 실시간 오디오-비주얼 스트리밍 모델

실시간 오디오·비주얼 대화에서 높은 해상도는 신체 자세와 주변 물체 같은 장면 문맥을 읽을 수 있게 해 대화의 상황 이해도를 높인다. 그러나 해상도를 올리면 잠재 생성 비용이 커져 응답 지연이 늘어나기 쉬운데, 본 논문은 모델 측 응답 지연을 약 200ms 수준으로 유지하면서 해상도를 높여 실시간 상호작용 품질을 보존한 점이 중요하다. 이 접근은 대화형 디지털 휴먼, 장면 인지 기반 에이전트, 실시간 협업 도구 같은 응용에서 시각적 문맥을 실시간으로 유지하면서도 인터랙션 흐름을 끊지 않을 수 있게 한다.

실시간 멀티모달 대화에서는 텍스트, 오디오, 비디오 입력이 하나의 인과적 시간선(causal timeline)에 결합되어야 상호작용 타이밍과 표현의 일관성을 유지할 수 있다. 기존 Wan-Streamer v0.1은 단일 Transformer 스트림으로 이 인과적 표현을 유지했지만 출력 해상도가 낮아 장면 문맥과 신체 표현을 충분히 포착하지 못했다. 높은 해상도는 더 긴 잠재 시퀀스와 더 큰 생성 비용을 의미하므로, 단일-GPU에서 처리하면 지연이 커져 실시간 제약을 위반하게 된다.

v0.2는 문제를 역할 분리로 해결했다. thinker는 스트리밍 인식과 상태 업데이트, K/V 캐시 구성, 최종 인과적 디코딩과 같이 지연에 민감한 연산만 단일 GPU에서 수행하고, 고비용의 잠재 비디오 생성 연산은 Ulysses 스타일의 context-parallel performer 그룹으로 옮겼다. thinker가 생산하는 performer-호환 K/V 슬라이스는 각 performer 순위에 브로드캐스트되어 순위별로 로컬 캐시에 기록되며, 이 로컬 샤드는 이후 denoising 단계에서 바로 사용되어 thinker-performer 간 통신을 최소화한다.

논문은 v0.2가 모델 측 signal-to-signal 응답 지연을 약 200ms 수준으로 유지하면서 640×368 해상도, 25 FPS 출력 스트림을 생성할 수 있음을 보고했다. 네트워크 측 350ms의 양방향 예산을 포함하면 원격 상호작용 지연은 약 550ms로 유지되며, 이는 v0.1과 동일한 총 상호작용 지연 기준을 따른 측정이다. 정량적 벤치마크 표는 논문 본문에 표 형태로 요약되어 있으며, 추가로 시각적 품질 평가는 생성된 640×368 대화 샘플에 대한 정성적 관찰을 통해 얼굴·시선·손 동작·신체 자세와 주변 장면 문맥의 판독성이 개선되었음이 확인되었다.

전체 아키텍처는 두 가지 역할로 나뉜다: thinker와 performer. thinker는 오디오·비디오 인코더, 토큰-인과 Transformer 경로, 상태 업데이트 및 K/V 캐시 구축, 그리고 최종 디코더를 한 GPU에서 실행하며 이 경로가 모델 측 지연의 핵심 신호-대-신호 패스를 형성한다. performer는 Ulysses 스타일의 context-parallel 그룹으로 구성되어 각 순위가 사전 샤딩된 K/V 캐시를 유지하고 긴 비디오 잠재 시퀀스를 시퀀스 샤딩으로 분할해 denoising을 병렬로 수행한다.

논문은 모델 측 지연 수치를 보고할 때 네트워크 대역폭과 전송 지연을 외부 가정으로 유지했으며, 대역폭 제한에 따른 전송 효과는 모델 측 지연 산정에서 제외했다. 따라서 실제 원격 배포 환경에서는 네트워크 조건에 따라 총 상호작용 지연이 논문에서 보고한 약 550ms보다 크게 달라질 수 있다.