TL;DR

daVinci-MagiHuman은 텍스트와 참조 이미지로부터 비디오 프레임 잠재와 동반 오디오를 공동 생성하는 15B 파라미터의 단일 스트림 멀티모달 생성 모델이다. 모델은 텍스트·비디오·오디오 토큰을 하나의 연속된 시퀀스로 입력해 전층 self-attention으로 공동 디노이징하며 교차-어텐션 구조를 배제해 아키텍처를 단순화했다. 핵심 설계는 Sandwich 구조(첫·마지막 4개 레이어에 모달리티별 투영, 중간 32개 레이어는 파라미터 공유), 타임스텝-프리 디노이징, 헤드별 게이팅, 그리고 latent-space super-resolution을 결합한 두 단계 파이프라인이다. 효율화 측면에서는 Turbo VAE Decoder와 MagiCompiler(연산 퓨전)를 사용해 디코딩 및 연산 오버헤드를 줄였고, DMD-2 증류로 8 스텝 설정에서도 고품질을 유지하도록 압축했다. 리포트된 성능은 인간 평가에서 Ovi 1.1 대비 80.0% 승률, LTX 2.3 대비 60.9% 승률을 기록하고 시제품 추론 속도는 단일 H100에서 5초 분량 256p 영상을 2.0초에 생성하는 수준이다. 이러한 구성은 실시간성·오픈소스 가용성·사람 중심 표현력에서 장점을 제공하되, 공개된 수치는 단일 하드웨어(H100)와 특정 설정에 근거하므로 다른 환경에서의 동일한 성능 보장은 본문이 명시한 조건에 의존한다.

핵심 역량

• 텍스트+참조 이미지 입력으로 동영상(비디오 프레임 잠재) 및 동반 오디오를 공동 생성
• 생성된 저해상도 잠재를 latent-space super-resolution으로 정제해 540p/1080p 수준까지 복원
• 언어 다국어 입력(중문·영어·일본어·한국어·독일어·프랑스어·광둥어) 처리
• 증류 모델을 이용해 8 스텝으로 고품질 생성(무 CFG) 가능
• 오디오-비디오 동기화와 사람 얼굴·신체 표현의 일관성 향상

강점

• 추론 속도: 단일 H100에서 5초 분량 256p 영상을 2.0초에 생성해 실시간적 사용 사례에서 유리함(README 수치 근거).
• 품질/동기화: 인간-중심 표현(표정·신체 모션)과 오디오-비디오 동기화가 경쟁 모델 대비 우수한 것으로 인간 평가에서 보고됨(README의 pairwise win rates 및 품질 표 근거).
• 오픈소스·라이선스: 모델 스택과 추론 도구를 Apache-2.0으로 공개해 연구·상용 활용이 가능함.

훈련 방식

기반 아키텍처는 15B 단일 스트림 Transformer이며 flow-matching 계열의 복원 설정을 사용한 것으로 표기되고, 이후 DMD-2 증류로 적은 denoising 스텝(8 steps, no CFG)에서도 동등한 품질을 내도록 압축했다.

알아두면 좋은 것

• 모델 스택 전체를 공개: base 모델(256p), distilled 모델(DMD-2, 8 steps), super-resolution 모델 및 추론 코드가 포함되어 Apache-2.0 라이선스로 배포됨
• 추론 성능: 5초 영상 생성 기준 256p 총 2.0초, 1080p 총 38.4초(단일 H100 기준)로 실시간성에 초점
• 효율화 도구로 MagiCompiler(연산 융합)와 Turbo VAE Decoder를 병용해 디코딩 오버헤드를 절감함
• 정량·사람 평가에서 공개 비교 모델 대비 높은 승률과 낮은 WER를 보고함(논문·리포트 근거)

기술적 특징

• 단일 스트림 아키텍처: 텍스트, 비디오, 오디오 토큰을 하나의 연속 토큰 시퀀스로 입력해 전층 self-attention으로 공동 복원한다. 교차-어텐션이나 멀티스트림 분리는 배제해 모델 구조를 단순화하고 연산 병합으로 추론 속도를 높였다.
• Sandwich 구성: 첫·마지막 4개 레이어는 모달리티별 투영을 두고 중간 32개 레이어는 파라미터를 공유한다. 이렇게 층별로 모달리티 특성 처리를 분리해 표현력은 유지하면서 파라미터 공유로 메모리·연산 효율을 확보했다.
• 타임스텝-프리 디노이징: 명시적 timestep 임베딩을 사용하지 않고 입력 잠재에서 현재 복원 상태를 추정하도록 해 입력 인터페이스를 단순화했다. 이 방식은 conditioning 경로를 줄여 구현 복잡도와 입력 인터페이스 수를 감소시킨다.
• 헤드별 게이팅과 GQA·RoPE: 어텐션 각 헤드에 학습 가능한 스칼라 게이트(sigmoid)를 적용해 학습 안정성을 높였고 GQA(Grouped Query Attention)와 RoPE 위치 임베딩을 조합해 다중 모달 시퀀스 처리의 효율을 개선했다.
• Latent-space Super-Resolution + Turbo VAE Decoder: 저해상도 잠재를 생성한 뒤 잠재 공간에서 초해상화를 수행해 추가적인 VAE 디코드-재인코드 비용을 회피했고, 경량 재학습된 VAE 디코더(turbo)를 도입해 디코딩 오버헤드를 크게 줄였다.

차별점

• 모달리티를 하나의 토큰 시퀀스에서 공동 복원하는 Single-Stream 접근으로 구조적 단순성과 연산 융합을 통한 추론 속도를 확보했다.
• 타임스텝 임베딩을 제거한 Timestep-Free Denoising 설계로 conditioning 경로를 최소화했다.
• Sandwich 레이어 분할로 모달리티 특수화와 중간 파라미터 공유를 병행해 성능과 효율성 균형을 맞췄다.
• Latent-space Super-Resolution과 Turbo VAE Decoder를 결합해 고해상도 복원 시 디코딩 비용을 절감했다.

벤치마크

이미지 분석