Stable Audio 3 및 SAME(의미론적 정렬 음악 오토인코더) 공개

섹션별 상세

Stable Audio 3는 가변 길이 오디오 생성과 편집을 지원하여 짧은 사운드 생성 시 발생하는 비용을 절감한다.

인페인팅 기능을 통해 특정 오디오 편집 및 짧은 녹음의 이어가기(continuation)가 가능하다.

SAME(Semantically-Aligned Music Autoencoder)은 오디오를 압축된 잠재 공간으로 투영하여 효율적인 확산 기반 생성을 가능하게 한다.

적대적 사후 학습을 적용하여 추론 단계 수를 줄이고 생성 품질과 프롬프트 준수 성능을 향상시켰다.

근거

소형 및 중형 모델은 소비자용 하드웨어에서 구동 가능하며, 학습 및 추론 파이프라인과 함께 가중치가 공개되었다.

잠재 확산 모델(Latent Diffusion Model): — 오디오나 이미지를 압축된 잠재 공간에서 확산 과정을 통해 생성하는 모델이다. 고해상도 생성을 효율적으로 수행하며, 데이터의 의미론적 구조를 보존하는 데 유리하다.
인페인팅(Inpainting): — 오디오의 특정 부분을 수정하거나 누락된 부분을 채우는 편집 기술이다. 기존 오디오의 맥락을 유지하며 자연스러운 수정이 가능하여 오디오 편집의 정밀도를 높이고, 짧은 녹음을 확장하는 데 필수적이다.
적대적 사후 학습(Adversarial Post-training): — 모델 학습 후 적대적 손실 함수를 사용하여 추론 속도와 품질을 최적화하는 기법이다. 생성 단계 수를 줄이면서도 프롬프트 준수율과 오디오 충실도를 동시에 향상시켜 실시간 생성 환경에 적합하다.