WanSong v1.0: 연속 토큰 기반 순수 확산 프레임워크를 통한 장편 고음질 텍스트-투-뮤직 생성

기존 상용급 음악 생성 시스템이 주로 자기회귀 또는 다단계 파이프라인에 의존해 긴 형식 오디오에서 일관된 음질과 효율성을 유지하는 데 제약이 있었던 반면, 본 논문은 오디오를 연속 토큰으로 보고 순수 확산 단일 단계로 생성함으로써 긴 노래를 고품질로 생성하는 새로운 실용적 경로를 제시했다. 보컬과 배경음악을 분리해 동시에 출력할 수 있는 구조는 후처리 편의성과 편집 가능성을 크게 향상시키며, 이는 제작·상업적 활용 면에서 중요한 효용을 제공한다. 또한 학습과 추론 단계에서 VAE 압축률 조정과 단계별 증류(step-distillation) 및 RLHF를 결합해 재현성, 음운 정확도, 인간 선호 정렬을 동시에 개선한 점이 실무적 가치를 높인다.

순차적 자기회귀(AR) 방식은 토큰을 한 개씩 예측하면서 길이가 길어질수록 연산과 누적 오류가 커지는 구조적 제약을 갖는다. 특히 긴 형식의 음악에서 시간 상의 일관성과 전반적 구조를 동시에 유지하기 어렵고, 다단계 파이프라인은 각 단계의 오류가 누적되어 최종 음질과 편집 유연성을 해친다. 본 논문은 이 한계를 극복하기 위해 오디오를 연속적인 잠재 토큰 시퀀스로 보고 확산 기반의 단일 단계에서 전체 시퀀스를 직접 모델링하는 접근을 출발점으로 삼았다.

모델 입력은 텍스트 캡션에서 생성한 토큰과 VAE로 인코딩한 연속 오디오 토큰을 순차적으로 연결하여 하나의 시퀀스로 구성한다. 이 결합된 시퀀스는 hybrid-MMDit 계열의 하이브리드 트랜스포머 백본으로 흐르며, 일부 레이어에서 모달리티별 별도 파라미터를 학습할 필요를 줄이고 AdaLN 공유를 통해 파라미터 효율을 달성했다. 출력 쪽에서는 듀얼 스템 토큰 설계를 적용해 보컬과 BGM을 독립 채널로 생성하되, 블록 내부에서는 채널로서 공동 학습해 상호 의존성은 유지하면서도 출력 간섭을 억제하는 joint-learning-in-layer 전략을 사용했다.

VAE 재구성 평가는 wan-song 음악 벤치마크(200클립)와 SeedTTS(2000클립)에서 수행되었고, Ours(1024) 설정은 Ours(2048) 및 Stable Audio 2 대비 모든 지표에서 우수한 성능을 보였다. 구체적으로 wan-song에서는 STFT 1.029, MEL 0.629, SI-SDR 7.246 dB를 기록했고 SeedTTS에서는 STFT 0.698, MEL 0.458, SI-SDR 12.922 dB를 달성해 압축률 절반(2048→1024)이 SI-SDR에서 각각 +2.86 dB와 +4.27 dB의 개선을 가져왔다. WanSong 벤치 결과에서는 PER 7.43%와 SongEval·Muq 등 지표에서 경쟁 모델 대비 우수한 값을 보고했으며 내부 음악성 모델에서 WanSong이 5.49 점으로 비교 대상보다 높은 점수를 획득했다.

전체 아키텍처는 텍스트 토큰(디코더형 LLM)과 오디오 연속 토큰(VAE 인코더 출력)을 하나의 긴 시퀀스로 연결해 하이브리드 트랜스포머 백본에 투입하는 구조로 구성된다. 하이브리드 트랜스포머는 MMDit 계열 아이디어를 따르되 모든 레이어에서 모달리티 분리를 강제하지 않고 일부 공유 파라미터와 AdaLN 완전 공유를 적용해 파라미터 효율을 높였다. 출력은 듀얼 스템을 지원하도록 설계되어 각 타임스텝에서 보컬과 BGM 토큰을 독립적으로 예측하되 블록 내 학습 시 동일 토큰의 채널로 취급해 의존성은 보존하는 혼합적 학습 전략을 채용했다.

압축률을 지나치게 낮추면 토큰 수가 급증해 메모리와 연산 비용이 커지므로 1024보다 더 낮은 압축률은 실용성 측면에서 제약이 있다는 점이 명시되어 있다. DPO는 전역 구조 최적화에 유리하지만 쌍별 손실 특성상 노이즈가 커질 수 있고 ReFL은 저잡음 단계에서 미세한 디테일을 정교하게 개선하는 데 유리하나 저잡음 구간에 한정돼 공격에 취약할 수 있다는 제한을 본문에서 보고했다. 평가 측면에서는 일부 자동 평가 지표의 일반화 가능성이 제한적이므로 인간 주석 기반의 내부 음악성 모델을 병행해 사용했다는 점에서 외부 일반화에는 추가 검증이 필요하다.