Audio-Omni: 멀티모달 이해를 다재다능한 오디오 생성 및 편집으로 확장

기존 오디오 AI는 이해, 생성, 편집 기능이 개별 모델로 분리되어 있거나 특정 도메인에 국한되는 한계가 있었다. Audio-Omni는 일반적인 소리, 음악, 음성을 모두 아우르는 최초의 통합 엔드투엔드 프레임워크로, 100만 개 이상의 데이터셋을 통해 고품질 오디오 합성과 정밀한 편집 기능을 동시에 제공한다.

기존의 오디오 생성 모델은 텍스트 설명에만 의존하여 세밀한 편집이나 특정 소리의 특징을 유지하는 데 한계가 있었다. Transformer 기반의 Self-Attention은 전역적인 문맥 파악에는 유리하지만, 오디오 파형과 같은 고해상도 신호의 정밀한 시간적 정렬을 처리하기에는 연산 효율과 제어력이 부족한 경우가 많다.

Audio-Omni는 이 문제를 해결하기 위해 '디커플링(Decoupled)' 구조를 채택했다. 고차원적인 상황 판단과 추론은 이미 방대한 지식을 학습한 Multimodal Large Language Model(MLLM)에 맡기고, 실제 오디오 신호의 생성은 Diffusion Transformer(DiT)가 담당하게 한다. MLLM의 내부 레이어에서 추출한 풍부한 임베딩을 DiT의 Cross-Attention 입력으로 사용하여 모델이 '무엇을' 만들어야 할지 명확히 인지하게 한다.

특히 저수준 신호 제어를 위해 참조 오디오의 Mel-spectrogram과 비디오 동기화 특징을 입력 노이즈에 직접 결합(Concatenation)하는 방식을 사용한다. 이는 모델이 생성 과정에서 프레임 단위의 세밀한 가이드를 받게 하여, 기존 모델들이 어려워하던 오디오 스타일 변환이나 특정 악기 소리 추출과 같은 정밀한 편집 작업을 가능하게 만든다.

Audio-Omni는 고정된 MLLM(Qwen2.5-Omni-3B)과 학습 가능한 DiT 백본으로 구성된 디커플링 아키텍처를 사용한다. MLLM은 텍스트 지시사항, 오디오, 비디오 입력을 처리하여 고수준의 의미 특징(Fmm)을 생성하며, 이는 DiT의 Cross-Attention 메커니즘을 통해 주입된다.

컨디셔닝 시스템은 두 가지 스트림으로 나뉜다. High-Level Semantic 스트림은 MLLM의 펜얼티미트(Penultimate) 레이어 특징과 음성 합성을 위한 Transcript Encoder의 출력을 결합한다. Low-Level Signal 스트림은 참조 오디오의 Mel-spectrogram과 Synchformer를 통한 비디오 동기화 특징을 결합하여 시간적 정렬을 보장한다.

학습은 Rectified Flow 목적 함수를 기반으로 수행된다. VAE로 인코딩된 타겟 오디오의 잠재 벡터 x0와 랜덤 노이즈 x1 사이의 직선 궤적을 모델링한다. 시간 t(0~1)에 따른 보간된 상태 xt = (1-t)x0 + tx1을 입력으로 받아 속도 필드 v = x1 - x0를 예측하도록 학습하며, 손실 함수는 예측값과 실제 속도 사이의 평균 제곱 오차(MSE)를 최소화하는 방향으로 최적화된다.

데이터 구축을 위해 Real Data Branch와 Synthesis Data Branch를 병렬로 운영하는 하이브리드 파이프라인을 설계했다. Gemini를 이용한 카테고리 식별과 SAM-Audio를 이용한 소리 분리, 그리고 Scaper 툴킷을 이용한 자동 합성을 통해 110만 개의 학습 샘플을 확보했다.

Audio-Omni는 MMSU 및 MMAU 벤치마크에서 기존 통합 모델들을 능가하는 이해 성능을 보였다. 특히 MMAU에서 63.30점을 기록하며 전용 모델인 Qwen2.5-Omni-3B와 대등한 수준의 추론 능력을 유지함을 입증했다.

오디오 생성 작업(T2A, T2M, V2A, V2M)에서 FAD(Fréchet Audio Distance) 수치가 경쟁 모델 대비 낮게 나타나 높은 음질과 생성 정확도를 확인했다. 예를 들어, Text-to-Music(T2M) 작업에서 FAD 1.41을 기록하여 Unified-IO2(3.17)나 AudioX(1.53)보다 우수한 성능을 보였다.

오디오 편집 성능 평가에서도 평균 FAD 3.27, LSD(Log-Spectral Distance) 2.27을 기록하며 전문 편집 모델인 ZETA나 MMEDIT보다 뛰어난 성능을 보였다. 또한, 영어로만 학습되었음에도 불구하고 MLLM의 능력을 상속받아 중국어, 스페인어 등 다국어 프롬프트에 대응하는 제로샷 교차 언어 생성 능력을 보여주었다.

Audio-Omni의 핵심은 MLLM의 풍부한 멀티모달 지식을 생성 모델인 DiT에 효과적으로 전이하는 구조에 있다. 연구진은 MLLM의 마지막 레이어보다 펜얼티미트 레이어의 특징이 더 풍부한 의미적, 음향적 세부 정보를 보유하고 있음을 실험적으로 확인하고 이를 컨디셔닝 신호로 채택했다.

DiT 백본은 36개의 블록, 2048의 히든 디멘션, 32개의 어텐션 헤드를 가진 7.9B 파라미터 규모의 트랜스포머 구조이다. 이 중 3.05B 파라미터가 학습 가능하며, Rectified Flow 기법을 통해 기존 확산 모델보다 더 단순하고 효율적인 생성 경로를 학습한다.

음성 편집 및 변환의 강건성을 위해 학습 시 Speech Prompt의 Mel-spectrogram을 20%에서 75%까지 무작위로 마스킹하는 전략을 사용했다. 이를 통해 모델은 부분적인 음향 신호로부터 화자의 고유한 음색(Timbre)을 추론하고 전체 문장을 재구성하는 능력을 갖추게 되었다.

논문은 음성 변환 및 합성 기능이 딥페이크나 사칭, 허위 정보 유포에 악용될 수 있는 윤리적 위험성을 명시하고 있다. 또한, 고품질 오디오 워터마킹 및 탐지 기술의 병행 개발이 필요함을 언급했다.