온디바이스 의미적 오디오 생성을 위한 양자화 네이티브 런타임

aria는 프레임워크 없이 Stable Audio 3 체크포인트를 로컬·엣지 장치에서 실행할 수 있게 하여 대기 시간, 메모리 제약, 배포 복잡도를 동시에 줄였다. 8비트 모드는 품질 저하 없이 메모리를 절감하고 GPU에서 빠른 실행 모드를 제공해 실무적 도입 문턱을 낮추었다. 활성화 스티어링은 서비스 수준에서 동적으로 의미적 제어를 켜고 끌 수 있게 하여 실시간 인터랙티브 애플리케이션에서 유용하다.

• 로컬 크리에이티브 도구에서 사용자 프롬프트에 따라 즉시 음악을 생성하는 인터랙티브 애플리케이션
• 메모리·전력 제약이 있는 임베디드 기기(Raspberry Pi 5 등)에서의 오프라인 음악 합성 및 스트리밍
• 서비스에서 동작 중인 모델에 activation steering을 적용해 사용자 맞춤 음향 속성(예: sonic seasoning)을 실시간으로 제어하는 기능

코드 공개 여부: 공개

양자화(Quantization)

— 모델 가중치와 활성화를 낮은 비트 정밀도로 표현해 메모리 사용량과 연산 비용을 줄이는 기법이다. 본문에서는 fp16을 8비트(q8) 또는 4비트(q4) 정수로 변환하고, 필요 시 8비트 산술(W8A8)을 사용해 텐서 연산을 수행함으로써 메모리 점유를 대체(replace)하는 방식으로 동작한다. 이 접근은 임베딩된 하드웨어나 메모리 제한이 있는 장치에서 모델을 실행 가능하게 만드는 핵심 축이다.

활성화 주입(스티어링)(Activation Steering)

— 학습된 모델의 내부 활성화(잔차 스트림 등)에 방향 벡터를 덧셈하거나 투영해 생성 출력을 제어하는 기법이다. 본문에서는 차이-평균(difference-of-means)으로 방향을 추출하고 블록 단위 잔차 평균 노름으로 정규화한 뒤 크기 α로 스케일해 주입한다. 런타임이 중간 텐서를 직접 소유하므로 주입이 그래프 내부에서 무오버헤드로 실행되어 실시간 제어가 가능하다.

잠재공간 확산모델(Latent Diffusion)

— 오디오를 고차원 신호가 아닌 잠재 표현으로 인코딩한 뒤 잠재 공간에서 노이즈 제거(denoising) 과정을 거쳐 신호를 복원하는 생성 패밀리이다. Stable Audio 3는 SAME 오토인코더로 256차원 잠재를 만들고 DiT(dffusion-transformer)로 해당 잠재를 정제한다. 확산 단계 수에 따라 비용이 결정되며 오디오 길이 자체보다는 denoising 단계가 비용을 좌우한다는 점에서 장점이 있다.

확산 변환기(Diffusion Transformer (DiT))

— 잠재 확산 과정에서 노이즈 제거를 수행하는 Transformer 기반의 denoiser 구조로, 블록별 잔차 스트림이 생성 과정을 지배하는 주된 데이터흐름이다. 본문에서는 DiT 블록 출력에 방향 벡터를 주입하거나 투영해 맛(taste) 속성 등 의미적 특성을 조절했다. 각 블록은 steering의 주입 지점이 되며 레이어별로 제어 가능성을 스캔해 운영 지점을 찾았다.

wav2taste

— 오디오를 입력으로 받아 다섯 가지 기본 미각(맛) 축에 대응하는 연속값 벡터를 회귀하는 학습된 레그레서이다. 본문에서는 steering의 목표(target)로 사용되어 각 주입 강도 α에 따른 Δ taste를 계산하고 다른 독립적 오라클과 함께 진위 판정을 수행했다. wav2taste 자체가 완벽하지 않으므로 CLAP·FAD·drift와 같은 독립 검사가 병행되었다.

Fréchet 오디오 거리(Fréchet Audio Distance (FAD))

— 두 오디오 집합의 분포 차이를 CLAP 임베딩 공간에서 프레체 거리로 측정해 생성 음질의 분포열화를 감지하는 지표이다. 본문에서는 q8/q4 등의 정밀도 전환이나 steering 강도에 따른 분포 붕괴를 탐지하기 위해 사용되었고, re-seed 노이즈 기준선과 비교해 정량적 문턱을 확보했다. FAD가 급증하면 주입이 실제 의미적 변화가 아닌 분포적 열화를 야기한 것으로 해석했다.