라이브 뮤직 디퓨전 모델: 인터랙티브 디퓨전 음악 생성의 효율적 파인튜닝 및 포스트 트레이닝

확산(diffusion) 기반 음악 생성은 일반적으로 비실시간으로 간주되며, 대규모 AR 모델에 비해 소비자 하드웨어에서의 실행이 제한적이다. 본 연구는 오픈소스 오디오 확산 모델을 인터랙티브 스트리밍에 맞게 변형해 KV-Caching를 도입하고, ARC-Forcing 포스트 트레이닝으로 다중 블록 롤아웃의 오류 누적을 줄이며, 텍스트/스케치/伴생 컨트롤을 실시간으로 제공하는 시스템을 제시한다. 이로써 오디오 디퓨전의 표준 인퍼런스 복잡도를 LMM과 동등하게 만들고, 소비자 하드웨어에서의 실시간 사용 가능성을 크게 높인다.

전통적 디퓨전은 시간 축 전체에 걸친 bidirectional attention으로 인해 블록 단위 스트리밍 인퍼런스에서 비효율적이다. 따라서 Live Music Diffusion Models(LMDMs)는 clean context와 noisy target 간의 경로를 분리하고(routing) 특정 프레임 범위의 어텐션Mask를 적용해 KV-Cache를 가능하게 한다. Enc-Dec LMDMs은 context를 한 번 인코딩하고 다음 블록의 디노이싱만 반복하도록 하여 인퍼런스 복잡도를 LMMs와 동일한 수준으로 끌어올리고, Block-Causal LMDMs는 시간 방향의 KV 캐싱까지 가능하도록 확장한다. 이와 함께 ARC-Forcing 포스트 트레이닝은 롤아웃 전체에 대한 글로벌 감독 신호를 RL 없이 제공해 장기 롤아웃에서의 누적 오차를 억제한다. 실험적으로 텍스트 조건, 스케치 제어, accompaniement 제어를 포함한 다수의 제어 모듈에서 실시간성 및 컨트롤 가능성을 확인했고, 실시간 음악 공연에서 소비자 하드웨어로 작동함을 확인했다.

단계 1. 아키텍처 전환: 오디오 디퓨전 모델을 Streaming-friendly LMDM으로 변형하기 위해 routing mask r을 도입하고, clean vs noisy 프레임에 대해 서로 다른 프로젝션을 적용한다. Encoder-Decoder LMDMs는 clean context의 KV를 캐시하고 target 프레임은 해당 KV를 사용해 반복적으로 디노이즈한다. Block-Causal LMDMs는 컨텍스트 내의 블록 간의 시간 의존성을 제한해 새로운 블록 생성 시점에만 업데이트된 캐시를 사용한다. 단계 2. Inference 알고리즘: Alg. 1은 표준 Block-Wise Outpainting의 확장으로, B 블록을 순차적으로 생성하고 각 블록에서 KV 캐시를 재사용한다. Enc-Dec LMDM에서 KV 캐시는 vKVθ로, Block-Causal LMDM에서 KV는 s 오프셋 이후부터 점진적으로 누적된다. 단계 3. 학습/파인튜닝: Flow Matching 기반의 손실(Eq. 1)로 vθ를 학습하고, 텍스트/스케치/ accompaniement 조건(c)을 추가로 주입한다. ARC-Forcing은 6과 7의 식으로 정의된 LR/L_C를 이용해 Gφ의 AR 롤아웃에 글로벌 감독을 제공하고, 12개의 롤아웃을 사용하며 8 스텝의 샘플링에서 CFG를 제거하거나 약화해 품질 유지와 속도 균형을 맞춘다. 단계 4. 실험 프로토콜: MTG-Jamendo를 포함한 텍스트- conditioned 데이터에서 10k-18k 이터레이션의 파인튜닝과 ARC-Forcing를 수행하고, 47초 길이 클립에서 D-NFE, TTFF, FD-OpenL3, KL-PaSST, CLAP 점수 등을 측정한다. 단계 5. 실험 설계: Enc-Dec/LMDM과 Block-Causal/LMDM의 두 가지 아키텍처를 비교하고, 텍스트 프롬프트 전환, 악기별 accompaniement, 스케치 제어에 대한 성능을 평가한다. 단계 6. 실무 데모: ONNX를 통한 C++/JUCE 구현으로 실시간 제어를 포함한 라이브 공연에서의 적용 가능성을 검토한다.

주요 결과는 다음과 같다. 텍스트-Conditioned LMDMs에서 Enc-Dec 구조가 일반적으로 Block-Causal보다 우수한 성능을 보였고, ARC-Forcing 적용 시 멀티-블록 롤아웃에서의 오차 누적이 크게 감소했다. ARC-Forcing를 적용한 ED 모델은 TTFF가 0.11s에서 0.03s로 감소하고, FD가 61.06에서 35.88로 감소하며 KD가 1.14에서 0.74로 감소하고 CLAP가 0.20에서 0.29로 증가했다. BC 모델의 경우 ARC-Forcing 적용 시 TTFF가 0.17에서 0.02로 감소하고, FD는 64.87에서 47.26으로 감소하며 CLAP는 0.20에서 0.23으로 상승했다. 비 Priming 조건에서의 성능도 유사한 경향을 보였으며, ED와 BC의 차이는 일부 구현 최적화의 차이로 설명된다. 캡슐 표현에서의 측정치로는 D-NFE, KL-PaSST, CLAP Score와 함께 per-프레임 품질 지표가 보고된다. 프롬프트 전환(promopt transitions) 평가에서도 CFG++ 기반의 샘플링 조정과 프롬프트 가중치 관리로 텍스트 전환의 일관성을 높였으며, 1-8 스텝 사이에서도 안정적으로 작동하는 구간이 확인되었다. 악기 보조(accompaniment) 생성을 대상으로 한 MUSDB18 기반 평가에서는 ED/LMDM과 Bidirectional Flow Model 간의 비교에서 Mel, Rhythm, Dynamics 지표가 래핑되었고, ARC-Forcing의 효과가 롤아웃 길이에 따라 다르게 작용했다. 스케치-컨트롤 조건에서도 오디오 기반 제어를 에임으로 한 오픈 평가에서 오디오에 가까운 제어 추적성과 비교적 관리 가능한 손실 특성을 보였다. 라이브 퍼포먼스 시나리오에서는 Jamendo 기반 모델을 8스텝으로 축약/양자화하고 ONNX로 내보내 C++/JUCE 애플리케이션에서 약 ∆ = S + τθ의 지연으로 구동 가능하며, 소비자 노트북에서도 충분한 반응성을 보여주었다.

구조: 두 가지 LMDM 변형을 제시한다. Encoder-Decoder LMDMs는 컨텍스트 프레임의 initial hidden state를 r = [01:s, 1s:s+o]로 라우팅하고, x^(k)와 x_clean의 결합을 KV 캐시로 변환한다. Encoder-Decoder는 각 Transformer 블록에서 처음 s 프레임은 서로만 attends하고 마지막 o 프레임은 서로 및 이후 프레임들에 attends하도록 비대칭 마스크를 적용한다(Encoder-Decoder LMDMs). Block-Causal LMDMs는 컨텍스트의 s 프레임에서 시간적 의존성을 추가적으로 차단하여, 매 블록 생성 후 새로운 블록만 KV 캐시에 저장되도록 한다. 알고리즘 1은 표준 Block-Wise Outpainting의 확장으로, X_concat = [x_clean, 0]를 구성하고, j 스텝에서 v̂θ를 이용해 x^(kj−1)을 계산한 뒤, s 프레임을 깔끔한 컨텍스트로 재설정한다. 알고리즘 2/3은 Enc-Dec 및 Block-Causal에서 KV 캐시를 이용한 인퍼런스를 구체화한다. 손실: Flow Matching 기반의 vθ는 dx^(k)/dk = ε − x를 근거로 하여, x^(k) ∼ qk(x^(k)|x)에서 vθ를 회귀시키고, CFG를 사용할 경우 v_wθ를 통해 CFG의 지배를 달성한다. ARC-Forcing은 Gφ로부터 B-블록 롤아웃을 생성하고 Dψ로 전역 신호를 학습시키며 LR/LC 손실을 적용한다. 핑퐁 샘플러와 CFG++를 결합해 텍스트 강도를 안정적으로 제어한다. 학습/미세조정: SAO-Small 기반 파인튜닝에서 10k 이터레이션, ARC-Forcing은 18k 이터레이션을 수행하며, 12개의 롤아웃을 사용한다. 데이터: MTG-Jamendo 기반 텍스트-Conditioned, Slakh 기반 accompaniment, Jamendo/Whale 기반 sketch-Conditioned 데이터로 실험을 수행한다. 인퍼런스: 6000 Pro Blackwell GPU에서 110-170ms의 round-trip latency 측정 및 약 20-25%의 추가 속도 향상을 KV-Caching으로 달성한다. 한계: EDM 데이터 의존도, 텍스트 조건 반응성의 제한, Suno 수준의 품질 차이, 낮은 대역폭의 실시간 악기 제어에 대한 추가 개선 필요성.

논문이 명시한 한계는 EDM 중심 데이터셋 편향으로 인한 텍스트 기반 반응성의 제한, 현재의 인터랙티브 시스템이 Suno 등 선도 대형 모델의 품질에는 미치지 못한다는 점, 하드웨어 제약으로 인한 최적화 필요성이다. 또한 sub-second 블록 사이즈를 달성하려면 인코딩/제어 코덱 및 아키텍처 전반의 추가 개선이 요구된다.