WanSong v1.0: 연속 토큰 기반 순수 확산 프레임워크를 통한 장편 고음질 텍스트-투-뮤직 생성

왜 중요한가

기존 상용급 음악 생성 시스템이 주로 자기회귀 또는 다단계 파이프라인에 의존해 긴 형식 오디오에서 일관된 음질과 효율성을 유지하는 데 제약이 있었던 반면, 본 논문은 오디오를 연속 토큰으로 보고 순수 확산 단일 단계로 생성함으로써 긴 노래를 고품질로 생성하는 새로운 실용적 경로를 제시했다. 보컬과 배경음악을 분리해 동시에 출력할 수 있는 구조는 후처리 편의성과 편집 가능성을 크게 향상시키며, 이는 제작·상업적 활용 면에서 중요한 효용을 제공한다. 또한 학습과 추론 단계에서 VAE 압축률 조정과 단계별 증류(step-distillation) 및 RLHF를 결합해 재현성, 음운 정확도, 인간 선호 정렬을 동시에 개선한 점이 실무적 가치를 높인다.

핵심 기여

순수 확산 기반의 단일 단계 음원 생성 파이프라인 제안

오디오를 연속 잠재 토큰으로 취급해 AR 기반 다단계 파이프라인을 배제하고 하나의 확산 백본으로 텍스트-오디오 관계를 학습하는 프레임워크를 제안했다. 이 접근은 여러 단계에서 발생하는 누적 오류와 복잡성을 제거해 긴 형식(최대 5분) 노래의 일관된 지각 품질을 확보하는 데 기여했다. 또한 단계별 증류를 통해 추론 속도를 개선하는 경로가 설계되어 상용 배포 비용과 지연을 낮추는 가능성을 보였다.

듀얼 스템 토큰 설계로 보컬·BGM 상호간섭 문제 해결

보컬과 BGM을 하나의 토큰으로 처리하면 보컬에 과도하게 집중하고 배경음악이 약화되는 현상이 관찰되어 이를 해결하기 위해 보컬과 BGM을 독립적 출력 채널로 처리하는 듀얼 스템 토큰을 도입했다. 학습 과정에서는 동일 블록 내에서 채널로서 공동 학습하도록 설계해 두 스템 간의 의존성은 유지하되 출력 간섭은 억제했다. 이로 인해 모델은 분리된 스템을 직접 출력해 편집과 믹싱 워크플로우를 단순화했다.

VAE 압축률 조정과 도메인 균형을 통한 잠재 표현 개선

원시 파형을 잠재 표현으로 압축하는 VAE에서 2048 대비 1024 압축률을 도입해 시간-주파수 세부 재현을 개선했고, 음악·음성·효과를 50:40:10 비율로 재조정해 모델이 두 도메인을 동시에 잘 다루도록 데이터 균형을 맞추었다. 이 설계는 SI-SDR 등 재구성 지표에서 유의한 개선을 보였고, 특히 1024 압축에서 음질이 크게 향상됨을 실험으로 확인했다. 또한 대규모(약 2.6×10^8 클립) 데이터셋에서 품질 분류기와 VAD 필터링을 적용해 학습 데이터의 노이즈를 줄였다.

인간 선호 정렬을 위해 DPO·ReFL을 결합한 RLHF 파이프라인 적용

음악성, 가사 정확도, 프롬프트 정렬성 등 여러 차원에서 인간 선호를 수집해 보상 모델을 학습하였고, DPO로 전역 구조를 최적화한 뒤 ReFL로 저잡음 영역의 세부를 다듬는 순차적 RLHF 전략을 적용했다. 이 조합은 각 방법의 강·약점을 상호 보완하도록 설계되어 전역 구조 개선과 세부 품질 향상을 동시에 노렸다. 보상 학습과 정책 최적화는 음악의 청감적 요소를 정량화한 내부 평가지표와 결합되어 모델의 실청취 품질을 향상시키는 근거로 활용되었다.

핵심 아이디어 이해하기

순차적 자기회귀(AR) 방식은 토큰을 한 개씩 예측하면서 길이가 길어질수록 연산과 누적 오류가 커지는 구조적 제약을 갖는다. 특히 긴 형식의 음악에서 시간 상의 일관성과 전반적 구조를 동시에 유지하기 어렵고, 다단계 파이프라인은 각 단계의 오류가 누적되어 최종 음질과 편집 유연성을 해친다. 본 논문은 이 한계를 극복하기 위해 오디오를 연속적인 잠재 토큰 시퀀스로 보고 확산 기반의 단일 단계에서 전체 시퀀스를 직접 모델링하는 접근을 출발점으로 삼았다.

방법론

모델 입력은 텍스트 캡션에서 생성한 토큰과 VAE로 인코딩한 연속 오디오 토큰을 순차적으로 연결하여 하나의 시퀀스로 구성한다. 이 결합된 시퀀스는 hybrid-MMDit 계열의 하이브리드 트랜스포머 백본으로 흐르며, 일부 레이어에서 모달리티별 별도 파라미터를 학습할 필요를 줄이고 AdaLN 공유를 통해 파라미터 효율을 달성했다. 출력 쪽에서는 듀얼 스템 토큰 설계를 적용해 보컬과 BGM을 독립 채널로 생성하되, 블록 내부에서는 채널로서 공동 학습해 상호 의존성은 유지하면서도 출력 간섭을 억제하는 joint-learning-in-layer 전략을 사용했다.

주요 결과

VAE 재구성 평가는 wan-song 음악 벤치마크(200클립)와 SeedTTS(2000클립)에서 수행되었고, Ours(1024) 설정은 Ours(2048) 및 Stable Audio 2 대비 모든 지표에서 우수한 성능을 보였다. 구체적으로 wan-song에서는 STFT 1.029, MEL 0.629, SI-SDR 7.246 dB를 기록했고 SeedTTS에서는 STFT 0.698, MEL 0.458, SI-SDR 12.922 dB를 달성해 압축률 절반(2048→1024)이 SI-SDR에서 각각 +2.86 dB와 +4.27 dB의 개선을 가져왔다. WanSong 벤치 결과에서는 PER 7.43%와 SongEval·Muq 등 지표에서 경쟁 모델 대비 우수한 값을 보고했으며 내부 음악성 모델에서 WanSong이 5.49 점으로 비교 대상보다 높은 점수를 획득했다.

기술 상세

전체 아키텍처는 텍스트 토큰(디코더형 LLM)과 오디오 연속 토큰(VAE 인코더 출력)을 하나의 긴 시퀀스로 연결해 하이브리드 트랜스포머 백본에 투입하는 구조로 구성된다. 하이브리드 트랜스포머는 MMDit 계열 아이디어를 따르되 모든 레이어에서 모달리티 분리를 강제하지 않고 일부 공유 파라미터와 AdaLN 완전 공유를 적용해 파라미터 효율을 높였다. 출력은 듀얼 스템을 지원하도록 설계되어 각 타임스텝에서 보컬과 BGM 토큰을 독립적으로 예측하되 블록 내 학습 시 동일 토큰의 채널로 취급해 의존성은 보존하는 혼합적 학습 전략을 채용했다.

한계점

압축률을 지나치게 낮추면 토큰 수가 급증해 메모리와 연산 비용이 커지므로 1024보다 더 낮은 압축률은 실용성 측면에서 제약이 있다는 점이 명시되어 있다. DPO는 전역 구조 최적화에 유리하지만 쌍별 손실 특성상 노이즈가 커질 수 있고 ReFL은 저잡음 단계에서 미세한 디테일을 정교하게 개선하는 데 유리하나 저잡음 구간에 한정돼 공격에 취약할 수 있다는 제한을 본문에서 보고했다. 평가 측면에서는 일부 자동 평가 지표의 일반화 가능성이 제한적이므로 인간 주석 기반의 내부 음악성 모델을 병행해 사용했다는 점에서 외부 일반화에는 추가 검증이 필요하다.

실무 활용

모델이 보컬과 BGM을 분리된 스템으로 직접 출력하므로 믹싱·편집·리마스터링 워크플로우에 바로 통합할 수 있다. 순수 확산 단일 단계 설계와 단계별 증류는 추론 단계의 복잡도를 줄여 상용 서비스에서 레이턴시와 비용을 절감할 잠재력을 제공한다. RLHF로 인간 선호에 맞춘 보정이 적용되어 청감 품질이 개선되어 상업적 콘텐츠 생산에서 사용자 만족도를 높일 수 있다.

가사·스타일 프롬프트로부터 3~5분 분량의 완성된 곡을 자동 생성하여 초기 데모 트랙 제작 시간을 단축할 수 있다.
모델이 출력한 분리 스템을 DAW에 불러와 보컬·반주를 개별적으로 편집하거나 재믹스하여 맞춤형 음원 제작에 활용할 수 있다.
맞춤형 음원 에디팅과 리마스터링을 위해 파인튜닝하거나 특정 아티스트 스타일로 SFT 단계를 적용해 기업 내부의 콘텐츠 제작 파이프라인에 통합할 수 있다.

코드 공개 여부: 미확인

키워드

diffusion-model(확산 모델)VAE(변분 오토인코더)dual-stem(듀얼 스템)flow-matching(플로우 매칭)RLHF(인간 피드백 강화학습)

용어 해설

노이즈 제거 확산 모델(Denoising Diffusion): — 시간축에서 점진적으로 노이즈를 더한 뒤 이를 역으로 제거해 고품질 데이터를 생성하는 확률적 생성 방식으로, 본문에서는 오디오 잠재공간에서 연속 토큰을 직접 생성하는 단일 단계 파이프라인 구현에 핵심적인 학습 및 샘플링 메커니즘으로 사용되었다.
듀얼 스템 토큰(Dual-stem token): — 보컬과 배경음악(BGM)을 서로 간섭하지 않도록 분리해 각각 독립적으로 예측하도록 설계한 연속 토큰 표현으로, 모델 출력에서 보컬·BGM을 따로 생성해 음원 후처리와 편집을 용이하게 하고 CFG로 발생한 음성·반주 균형 문제를 완화하는 역할을 한다.
플로우 매칭(Flow Matching): — 확산 모델 학습에서 노이즈-치유 역과정을 연속적인 속도(velocity) 예측 관점으로 정식화하여 중간 시점의 속도 값을 추정하도록 하는 방법으로, 본문에서는 오디오 잠재공간의 denoising diffusion을 학습하는 핵심 손실 설계로 사용되었다.
VAE 압축률(VAE Compression Ratio): — 원시 스테레오 파형을 잠재 텐서로 변환할 때 시간/채널 차원을 줄이는 비율로, 본문에서는 2048과 1024 두 설정을 비교해 압축률이 낮을수록 시간-주파수 세부 재현이 개선된다는 실험적 근거를 제시했다.

WanSong v1.0: 연속 토큰 기반 순수 확산 프레임워크를 통한 장편 고음질 텍스트-투-뮤직 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

AuK, 음성 생성과 편집을 하나로 묶다

DreamX-Creator 1.0의 네이티브 음향·영상 생성

LTX-Video: 시공간 1:192 압축으로 실시간 비디오 생성을 구현한 Latent Diffusion 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

AuK, 음성 생성과 편집을 하나로 묶다

DreamX-Creator 1.0의 네이티브 음향·영상 생성

LTX-Video: 시공간 1:192 압축으로 실시간 비디오 생성을 구현한 Latent Diffusion 모델