AuK, 음성 생성과 편집을 하나로 묶다

왜 중요한가

음성 생성, 내용 편집, 감정·억양 변환, 음성 분리와 향상을 별도 모델이 아닌 하나의 자연어 인터페이스로 처리하는 기반 모델입니다. 약 3.03 billion instruction–audio instances와 1.95 million hours의 supervision으로 학습하고, AuK -Flash는 4-step·CFG-free 추론으로 전체 모델보다 wall-clock 기준 4.5배 빠르게 실행됩니다.

핵심 기여

다섯 작업군을 공유 인터페이스로 통합

Speech generation, acoustic editing, paralinguistic editing, content editing, enhancement and separation을 자연어 instruction과 선택적 input audio에서 target waveform으로 매핑하는 단일 구조로 통합했습니다.

Semantic·acoustic 조건의 Hybrid Transformer

MLLM의 계층별 hidden state를 semantic condition으로 결합하고, VAE latent를 acoustic condition으로 사용합니다. Dual-stream MMDiT가 두 스트림 사이의 정보를 교환한 뒤 Single-Stream DiT가 통합 sequence를 정제합니다.

생성·편집에 맞춘 후처리 학습

편집에는 818개의 유효 preference group과 9,080개의 평가 후보를 이용한 human-feedback preference optimization을 적용하고, 생성에는 content correctness·speaker similarity·style consistency 보상을 이용한 Flow-GRPO를 적용했습니다.

4단계 CFG-free 가속 모델

Consistency initialization과 task-routed Decoupled DMD를 순차 적용해 AuK -Flash를 만들었습니다. 분리 작업은 clean-latent regression으로 별도 라우팅해 multi-speaker와 vocal separation 성능 저하를 줄였습니다.

핵심 아이디어 이해하기

기존 음성 시스템은 텍스트에서 음성을 만드는 TTS, 특정 구간을 바꾸는 편집기, 잡음을 제거하는 향상기, 여러 화자를 분리하는 모델이 서로 나뉘어 있었습니다. 이 구조에서는 사용자의 자연어 요청을 작업별 모델 입력으로 변환해야 하고, 모델마다 화자·운율·음향 조건을 다르게 처리해야 합니다. AuK는 instruction과 optional audio를 공통 입력으로 받아 target waveform을 생성하는 방식으로 이 인터페이스를 통일합니다.

AuK의 핵심 입력은 의미 조건과 음향 조건입니다. MLLM은 텍스트 instruction과 reference audio를 함께 읽어 semantic representation을 만들고, VAE는 reference waveform을 64차원 latent sequence로 압축합니다. reference audio가 없는 Instruct TTS에서는 semantic stream만 사용하고, zero-shot TTS·내용 편집·향상·분리에서는 semantic stream과 acoustic stream을 함께 사용해 원본 화자와 음향 맥락을 보존합니다.

두 조건은 처음부터 하나로 섞이지 않습니다. 10개의 Dual-Stream MMDiT block이 semantic·acoustic token의 Joint Attention으로 상호작용시키면서 각 스트림의 residual 경로를 유지합니다. 이후 20개의 Single-Stream DiT block이 결합된 sequence를 Self-Attention으로 정제하고 target latent의 flow velocity를 예측합니다. 이 처리 순서가 텍스트 의미와 원본 음향을 분리해 다루면서도 최종 waveform 생성 단계에서 함께 반영하게 합니다.

학습에서는 Gaussian noise latent와 정답 오디오 latent 사이의 선형 경로를 만들고, 각 중간 상태에서 정답 이동 방향을 예측하도록 합니다. 추론 시에는 예측된 velocity를 따라 noise를 target latent로 이동시킨 뒤 VAE decoder가 파형으로 변환합니다. AuK -Flash는 이 긴 경로를 consistency initialization과 Decoupled DMD로 증류해 32회 평가가 필요한 전체 모델을 4회 평가로 줄이며, CFG도 제거합니다.

관련 Figure

Infographic
상단에는 Instruct TTS와 Zero-shot TTS가, 중간에는 speed·volume·pitch 편집과 emotion·de-accent·nonverbal·timbre·whisper 변환이 배치되어 있습니다. 하단에는 speech·music separation과 speech enhancement가 포함되어 있어, 자연어 instruction과 audio input이 서로 다른 출력 작업으로 연결되는 공통 인터페이스를 나타냅니다.
AuK가 지원하는 음성 생성, 음향 편집, 준언어 편집, 내용 편집, 향상·분리 작업을 예시 파형과 함께 정리한 인포그래픽입니다.

방법론

데이터는 Speech Generation, Acoustic Editing, Paralinguistic Editing, Content Editing, Enhancement and Separation의 다섯 작업군으로 구성됩니다. 전체 규모는 약 3.03 billion instruction–audio instances와 1.95 million hours의 effective audio supervision입니다. Acoustic Editing에서는 속도를 0.5×, 0.75×, 1.25×, 1.5×, 2.0×로 바꾸고 loudness는 ±5, ±10, ±15 dB, pitch는 ±1, ±2, ±3 semitones로 변환해 원본과 목표 파형을 짝지었습니다.

모델은 Qwen2.5-Omni를 semantic encoder로 사용하고, 각 MLLM layer의 hidden state를 LayerNorm 뒤 학습 가능한 scalar로 가중합합니다. VAE encoder는 24 kHz 파형을 64차원 latent와 50 Hz frame rate로 바꾸며, reference latent와 noisy target latent를 acoustic stream에 넣습니다. Backbone은 10개 MMDiT block과 20개 DiT block, hidden dimension 1536, 24개 Attention head, head dimension 64, SwiGLU intermediate dimension 3072로 구성됩니다.

학습은 generation-only warm-up 50k updates 뒤 generation과 editing을 함께 학습하는 600k updates 과정으로 진행됩니다. Gaussian noise latent를 z0, clean target latent를 z1이라 할 때 중간 입력은 zt=(1-t)z0+t z1이고 목표 velocity는 z1-z0입니다. 모델은 valid latent frame에 대해 예측 velocity와 목표 velocity의 masked mean-squared error를 줄이며, 256 GPUs·bf16·DeepSpeed ZeRO-2 환경에서 학습합니다.

후속 단계에서 편집은 human preference를 이용한 flow-based preference optimization으로, 생성은 Flow-GRPO로 조정합니다. Zero-shot TTS 보상은 tolerant·strict recognition error와 speaker embedding cosine similarity를 사용하고, Instruct TTS 보상은 Qwen2.5-Omni-7B 기반 style-consistency model의 majority vote로 계산합니다. 마지막으로 consistency initialization이 noisy state에서 clean endpoint를 직접 예측하도록 초기화하고, task-routed Decoupled DMD가 일반 작업의 distribution matching과 분리 작업의 clean-latent regression을 나눠 수행합니다.

관련 Figure

Diagram
중앙에서 Pre-training Speech and Music Capability Taxonomy를 시작해 Speech Generation, Content Editing, Acoustic Editing, Paralinguistic Editing, Enhancement and Separation으로 확장됩니다. 바깥 고리에는 instruct·zero-shot TTS, lyric·speech content editing, speed·pitch·volume 조절, emotion·timbre·de-accent·whisper 변환, speech·music separation과 enhancement 세부 항목이 배치되어 데이터 구성의 범위를 나타냅니다.
AuK pre-training corpus를 다섯 capability family와 세부 operation으로 계층화한 sunburst 도표입니다.

주요 결과

Zero-shot TTS에서 AuK는 Seed-TTS-Eval 평균 WER 2.65%와 SIM 0.795를 기록했습니다. Qwen3-TTS의 평균 WER 3.07%보다 낮고 Seed-TTS의 SIM 0.778보다 높습니다. InstructTTSEval에서는 중국어 DSD 83.37%를 기록해 Qwen3-TTS-VD보다 2.27 percentage points 높았으며, AuK -Flash는 영어 DSD 82.40%로 Qwen3-TTS-VD와 같은 최고 수치를 기록했습니다.

일반 음성 편집에서는 AuK가 MMAE-Speech의 IFR 48.23%, CR 88.11%를 기록했고, AuK -Flash는 EMR 13.85%로 비교 대상 중 가장 높았습니다. SpeechEditBench에서 AuK는 content 91.83%, emotion 9.94%, prosody 71.33%, acoustic 37.07%를 기록했으며, AuK -Flash는 paralinguistic 39.25%로 가장 높았습니다. Ming-Freeform-Audio-Edit의 Full 설정에서 AuK의 평균 WER은 중국어 3.09%, 영어 3.96%였습니다.

향상·분리에서는 DNS Challenge에서 AuK의 dWER이 2.66%, 두 모델의 SIM이 0.99였고, AuK -Flash의 UTMOS는 4.05였습니다. CHiME-4에서는 AuK -Flash가 WER 7.84%, UTMOS 3.91을 기록했습니다. Libri2Mix에서는 AuK가 WER 9.12%로 더 낮았고 AuK -Flash는 UTMOS 4.03과 OVRL 3.32로 더 높은 지각 품질을 기록해 전체 모델은 언어 보존, Flash 모델은 지각 품질에 상대적 강점을 보였습니다.

AuK -Flash는 동일한 하드웨어·출력 길이·배치 크기에서 AuK의 32-NFE CFG 2.0 추론과 비교해 4-step CFG-free 추론으로 4.5× wall-clock speedup을 기록했습니다. VCTK-SR에서는 7개 보고 지표 중 6개에서 최고 결과를 얻었고, OVRL 3.25, UTMOS 4.05, WER 2.92%, PER 4.19%를 기록했습니다.

관련 Figure

Chart
Seed-TTS-Eval에서는 WER과 SIM, InstructTTSEval에서는 DSD, 편집 벤치마크에서는 EMR·정확도·WER·SIM, 향상·분리에서는 DNSMOS·UTMOS·WER·SIM을 비교합니다. AuK는 생성과 일반 편집에서 낮은 WER 또는 높은 정확도를 기록하고, AuK -Flash는 여러 향상 작업에서 높은 UTMOS와 4단계 추론의 효율을 유지합니다.
AuK와 AuK -Flash를 포함한 음성 생성·편집·향상·분리 벤치마크의 막대그래프입니다.

기술 상세

AuK는 세 모듈을 연결합니다. Qwen2.5-Omni 기반 MLLM은 text instruction과 optional reference audio를 처리하고, 각 layer의 hidden state를 LayerNorm과 학습 가능한 가중합으로 결합합니다. AuK-VAE encoder는 24 kHz mono waveform을 480배 downsampling해 50 Hz의 64차원 latent sequence로 바꾸며, causal decoder는 생성 latent를 waveform으로 복원합니다. VAE는 speech·general audio·music을 6:3:1 비율로 샘플링해 1.24 million updates 동안 학습했습니다.

Transformer 입력은 semantic condition, optional reference latent, noisy target latent로 구성됩니다. 첫 10개 MMDiT block은 stream별 Q·K·V와 residual projection을 유지하면서 각 stream의 token을 Joint Attention에 넣습니다. RoPE는 stream 위치에 맞춰 적용하고, RMSNorm 기반 QK-Norm과 time-conditioned AdaLN이 Attention 및 SwiGLU FFN을 조절합니다. 다음 20개 DiT block은 두 stream을 concatenate한 뒤 Self-Attention으로 처리하고 target-latent 위치에서 flow velocity를 출력합니다.

Flow-Matching 학습은 clean latent와 Gaussian noise의 선형 보간을 사용합니다. flow time t가 0이면 입력은 noise에 가깝고 t가 1이면 clean latent에 가까우며, 모델은 두 endpoint의 차이를 목표 velocity로 학습합니다. 추론에서는 Euler ODE solver가 이 velocity를 32회 적분하고 VAE decoder가 파형을 생성합니다. AuK -Flash는 consistency distillation으로 서로 이웃한 timestep에서 같은 clean endpoint를 예측하게 만든 뒤, Decoupled DMD의 CFG Augmentation과 Distribution Matching을 적용합니다.

편집 preference 학습에서는 한 instruction당 10개 또는 20개 후보를 만들고 0·1·2의 실패·부분 성공·성공 등급을 부여했습니다. 동일 등급만 있는 그룹을 제외한 뒤 818개 informative group과 9,080개 후보를 사용했습니다. 생성 RL에서는 zero-shot prompt 10,000개와 instruction-following prompt 5,000개를 구성하고, group당 16개 후보를 샘플링해 content·speaker·style 보상에 대한 상대적 개선을 최적화했습니다.

관련 Figure

Diagram
instruction은 MLLM을 거쳐 semantic stream으로 들어가고, input audio는 Audio Encoder와 VAE Encoder를 통해 semantic·acoustic 조건으로 나뉩니다. Dual-Stream MMDiT가 두 stream의 Joint Attention을 수행한 뒤 Single-Stream DiT가 통합 sequence에서 target latent를 예측하고, VAE Decoder가 이를 generated audio로 복원합니다.
AuK의 MLLM·VAE·Hybrid Transformer 연결과 Dual-Stream MMDiT 및 Single-Stream DiT block 구조를 나타낸 아키텍처 도식입니다.

한계점

원문은 임의의 free-form editing request에 대한 native instruction grounding이 충분히 안정적이지 않다고 밝힙니다. Prompt Enhancer가 입력 오디오의 ASR·언어 정보를 활용해 작업을 식별하고, 속도·loudness·pitch 값을 학습 범위의 값으로 정규화하며, 요청을 training distribution에 가까운 template으로 다시 구성해야 안정적인 실행이 가능합니다.

실무 활용

AuK는 자연어 instruction과 선택적 audio context를 이용해 음성 생성, 화자 복제, 음성·가사 내용 편집, 감정·억양·음색 변환, 잡음 제거와 화자 분리를 한 모델에서 처리합니다. GitHub 저장소에서 source code와 model weights를 공개해 연구·개발 환경에 연결할 수 있으며, 빠른 서비스 추론에는 4-step CFG-free AuK -Flash를 사용할 수 있습니다.

reference transcript 없이 reference speech와 target text로 수행하는 zero-shot voice cloning
자연어 지시로 말의 속도·pitch·loudness·emotion·accent·timbre·whisper style을 변경하는 음성 편집
말한 문장이나 노래 가사를 insert·delete·replace 방식으로 바꾸는 localized content editing
혼합 음성에서 특정 화자·노래 보컬·반주를 추출하거나 잡음·reverberation·채널 열화를 선택적으로 복원하는 오디오 처리

코드 공개 여부: 공개

코드 저장소 보기

키워드

AuK(음성 생성·편집 기반 모델)AuK -Flash(4단계 음성 추론 모델)MLLM(멀티모달 대규모 언어 모델)VAE(변분 오토인코더)Rectified Flow(직선화 흐름 생성)MMDiT(멀티모달 Diffusion Transformer)Flow-GRPO(생성 음성 강화학습)Decoupled DMD(분리형 분포 증류)

용어 해설

Rectified Flow: — Gaussian noise에서 목표 오디오 latent로 이동하는 경로를 학습하는 생성 방식입니다. 학습 시 중간 상태의 목표 속도를 예측하고, 추론 시 이 속도장을 ODE solver로 적분해 오디오 latent를 복원합니다. AuK는 이 구조로 생성과 편집을 같은 Transformer 안에서 처리합니다.
Variational Autoencoder(VAE): — 오디오 파형을 압축된 latent sequence로 바꾸고 다시 파형으로 복원하는 인코더·디코더 구조입니다. AuK-VAE는 24 kHz 오디오를 64차원 latent로 변환하며, 50 Hz의 latent frame rate를 사용해 생성 모델의 연산 부담을 낮추면서 음향 정보를 보존합니다.
MMDiT: — 서로 다른 조건 스트림 사이에서 Attention을 수행하는 Diffusion Transformer 구조입니다. AuK에서는 semantic stream과 acoustic stream을 별도 residual 경로로 유지한 채 Joint Attention으로 정보를 교환한 뒤, Single-Stream DiT가 결합된 sequence를 추가로 정제합니다.
Flow Matching: — 무작위 noise와 정답 latent 사이의 이동 방향을 직접 학습하는 생성 학습 방식입니다. AuK는 중간 latent와 목표 속도를 만들고 모델이 예측한 속도와의 masked mean-squared error를 줄여, 추론 단계에서 noise를 오디오 latent로 변환하는 velocity field를 학습합니다.
Classifier-Free Guidance: — 별도의 분류기 없이 조건부 예측과 무조건부 예측의 차이를 이용해 생성 조건의 영향력을 키우는 방식입니다. AuK 전체 모델은 guidance scale 2.0으로 32회 function evaluation을 수행하지만, AuK -Flash는 증류를 통해 CFG 없이 4회 평가만 수행합니다.

AuK, 음성 생성과 편집을 하나로 묶다

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

FireRedAudio와 FireRedTTS3의 통합 음성 모델

Motion-Omni의 음성·전신 동작 공동 생성

Audio-Video 생성 모델의 Attention Triangle

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

FireRedAudio와 FireRedTTS3의 통합 음성 모델

Motion-Omni의 음성·전신 동작 공동 생성

Audio-Video 생성 모델의 Attention Triangle