TL;DR

이 모델은 Qwen3 텍스트 인코더와 Diffusion Transformer(DiT)를 Flow Matching 목적함수로 결합하고 DAC VAE로 잠재를 파형으로 복원해 자연어 프롬프트로부터 환경음·도시음·생물 소리·인간 동작 소리 등 비음성 사운드이펙트를 최대 30초 길이의 48 kHz 파형으로 생성한다. v2는 이전의 discrete-token autoregressive 접근을 연속 잠재 기반으로 전환했으며 권장 추론 설정으로 num_inference_steps=100, cfg_scale=4.0, sigma_shift=5.0을 제시해 품질과 샘플링 효율을 조절하도록 설계됐다. 추론 파이프라인은 torch.compile과 Triton CUDA Graph로 최적화되어 첫 호출에서 컴파일 시간이 발생할 수 있고 TORCHDYNAMO_DISABLE 우회가 안내돼 있다. 전반적으로 긴 지속시간과 고해상도 오디오 복원을 목표로 한 아키텍처적 전환과 실사용을 고려한 추론 최적화가 핵심적 특징이다.

핵심 역량

• 환경적 분위기, 도시 소음, 동물 및 생물, 인간 행위, 단기 음악성 클립 등 다양한 사운드 이펙트를 자연어 프롬프트로 생성할 수 있다.
• 프롬프트 앞에 duration 태그를 넣어 최대 30초까지 출력 지속시간을 제어할 수 있으며 기본 권장 설정으로 10초 출력이 제공된다.
• 영어와 중국어 캡션으로 학습되어 바이링구얼 프롬프트에 반응하는 텍스트 조건화를 지원한다.
• Diffusion Transformer(연속 잠재)와 DAC VAE의 조합으로 48 kHz 고해상도 파형을 복원하는 워크플로를 제공한다.
• MossSoundEffectPipeline을 통해 torch.bfloat16과 CUDA 디바이스를 활용한 추론과 pipe.save_audio로 WAV 파일 저장을 수행할 수 있다.

강점

• 최대 30초 길이의 안정적 오디오 생성을 지원하고 출력 샘플링 주파수를 48 kHz로 유지해 고해상도 사운드를 생성할 수 있다.
• continuous-latent Diffusion Transformer와 Flow Matching의 조합으로 v1의 토큰 기반 오토리그레시브 방식보다 긴 연속 신호를 더 안정적으로 처리하도록 설계됐다.
• 추론 파이프라인이 torch.compile 및 Triton CUDA Graph로 최적화돼 대규모 GPU에서의 추론 효율을 노린 설계적 이점을 제공한다.

훈련 방식

Qwen3 텍스트 인코더를 기반으로 DiT(연속 잠재) 백본을 Flow Matching 목적함수로 학습하고 DAC VAE를 잠재-파형 복원기로 결합해 영어·중국어 캡션으로 비음성 사운드 효과 데이터를 학습했다.

알아두면 좋은 것

• 모델 구성은 Diffusion Transformer 백본에 Flow Matching 목적함수를 적용한 continuous-latent 아키텍처이며 v1의 discrete-token autoregressive 접근을 대체했다.
• 권장 추론 하이퍼파라미터는 num_inference_steps=100, cfg_scale=4.0, sigma_shift=5.0이며 seconds 파라미터로 출력 길이를 지정할 수 있다.
• 사전학습 텍스트 인코더로 Qwen/Qwen3-1.7B를 사용하고 모델 파라미터 표에서 DiT 변형의 크기가 1.3B로 표기돼 있다.
• 추론 파이프라인은 torch.compile과 Triton CUDA Graph를 래핑해 제공되며 첫 호출에서 컴파일 시간이 수분 소요될 수 있어 TORCHDYNAMO_DISABLE 환경변수 우회가 안내됐다.

기술적 특징

• 모델은 Diffusion Transformer(DiT) 백본을 사용해 잠재공간에서 시간-주파수 특성을 동시에 처리하고 Flow Matching 목적함수로 역샘플링 흐름을 직접 학습했다. 이 조합은 샘플링 단계에서 수치적 솔버를 활용해 안정적인 생성 경로를 만들고, 동일한 스텝 수에서 품질과 수렴 특성의 균형을 조절하는 데 유리하다.
• DAC VAE가 연속 잠재 표현을 실제 파형으로 복원하는 역할을 맡아 48 kHz 해상도의 오디오를 출력하도록 설계됐다. VAE의 인코더는 오디오를 낮은차원 잠재로 인코딩하고 DiT는 이 공간에서 샘플을 생성한 뒤 DAC VAE 디코더가 세부 주파수 성분을 복원한다.
• 텍스트 조건화는 Qwen3-1.7B 기반 인코더로 처리되어 영어와 중국어 캡션을 직접 임베딩하며, 프롬프트 기반의 조건성을 강화하기 위해 권장 cfg_scale 값이 사용된다. 이러한 설계는 언어별 캡션 차이를 반영해 텍스트 지시에 민감한 오디오 출력을 가능하게 한다.
• 추론 측면에서는 torch.compile과 Triton CUDA Graph로 DiT 래핑을 제공해 런타임 최적화를 시도하며 첫 호출 시 컴파일 지연이 발생할 수 있음이 명시됐다. 또한 권장 하이퍼파라미터(num_inference_steps=100, sigma_shift=5.0)는 Flow Matching 솔버의 동작과 샘플링 에너지를 조절하도록 설계돼 사용자가 품질과 속도 사이를 조정할 수 있다.
• v2는 이전 v1의 discrete-token autoregressive 접근을 대체해 continuous-latent diffusion 워크플로로 전환했으며 이 변화는 긴 지속시간 오디오의 품질 안정성과 복원 정밀도 향상에 초점을 맞췄다.

차별점

• v1의 토큰 기반 autoregressive 백본을 교체하고 연속 잠재 DiT + Flow Matching으로 전환해 긴 연속 신호 생성에 초점을 맞췄다.
• DAC VAE를 사용해 연속 잠재 표현을 48 kHz 파형으로 복원하는 파이프라인을 통합했다.
• Qwen3-1.7B 텍스트 인코더를 텍스트 조건화에 사용해 영어·중국어 캡션을 직접 처리하도록 설계됐다.
• 추론 엔진에 torch.compile과 Triton CUDA Graph를 적용해 GPU 최적화를 노린 구현 세부를 포함했다.