TL;DR

DIAMOND는 손상된 음성을 입력으로 받아 autoregressive RQ-Transformer 구조로 Descript Audio Codec의 RVQ 토큰을 예측하고 고정된 디코더로 44.1 kHz 완전 대역 파형을 합성하는 생성적 오프라인 복원기이다. 모델은 time-transformer로 시간 축 컨텍스트를, depth-transformer로 프레임 내부의 9개 코드북을 순차 예측하여 RVQ의 인과 체인을 복원하는 설계를 사용했고 스크래치 학습으로 약 166.6M 파라미터를 학습해 공개 체크포인트는 63 GPU-시간이 소요되었다고 보고되었다. 동일한 750개 실험 녹음에서 DNSMOS 기준으로 평균 ΔOVRL +0.255를 기록하며 비교 그룹 중 상위권을 차지했으나 CER 면에서는 일부 비자기회귀 시스템에 뒤쳐졌고 이는 AR 디코더의 노출 편향과 일관된 트레이드오프를 반영한다. 결과적으로 이 도구는 대량의 손상 음성 데이터 정제와 오프라인 복원에 적합하나 출력은 생성적 성격을 가지므로 포렌식 증거로 취급해서는 안 된다.

핵심 역량

• 손상된 입력을 받아 Descript Audio Codec 토큰을 autoregressive하게 예측하고 고정된 코덱 디코더를 사용해 44.1 kHz 출력 파형을 합성할 수 있다. 입력은 내부적으로 24 kHz로 리샘플링되어 처리되며 출력은 전체 대역을 재생성하므로 8 kHz 이상의 공기감과 치찰음(sibilant)을 생성해낸다. 모델은 단순 필터가 아닌 생성적 접근을 사용하므로 손실된 주파수 성분을 문맥적 단서로부터 재구성하는 능력을 갖추고 있다.
• 다양한 실세계 손상 분포에 맞춰 설계된 DSP 기반 오그멘터를 통해 학습 데이터의 열화 패턴을 샘플 단위로 보정하여 실제 손상 분포와 유사한 입력을 학습에 사용한다. 이 방식은 단순 노이즈 추가보다 현실적 열화를 반영하므로 복원된 음성의 주관적 품질이 향상된다. 학습 데이터에는 약 681.5시간의 스튜디오 발화가 포함되어 있고 광대역 발화 비율도 명시되어 있다.
• 생성된 출력의 콘텐츠 보존성은 DNSMOS와 함께 CER(문자 오류율)을 의무적 평가지표로 사용해 평가한다. 이로써 청취 품질과 텍스트 보존 사이의 트레이드오프를 정량화하고, 단순히 깨끗해 보이는 산출물이 단어 단위 정보 손실을 야기하지 않는지 확인할 수 있다. 결과적으로 복원물은 청취 품질과 내용 충실성의 균형을 맞춘 산출을 제공한다.

강점

• 스크래치 학습임에도 750개 실제 손상 샘플 벤치에서 DNSMOS 기준으로 비교 그룹 중 2위를 차지했고 평균 ΔOVRL +0.255를 기록해 주관적 품질 개선이 일관되게 관찰되었다. 같은 벤치에서 DIAMOND는 데이터량이 더 많은 경쟁 시스템보다 우수한 복원 성능을 보인 사례가 있어 학습 전략과 아키텍처가 효율적임을 시사한다. 또한 Apache-2.0 라이선스로 공개되어 상용 환경에서 활용 가능성이 높다.
• 모델 구조는 time-transformer와 depth-transformer의 분리 설계를 적용해 프레임 간 시계열 모델링과 코드북 내부의 깊이 방향 예측을 각각 최적화했다. 이로 인해 RVQ 코드북의 인과성을 보존하면서 고해상도 토큰을 안정적으로 생성할 수 있어 고주파 세부 복원에서 우위를 보인다. Descript Audio Codec의 고정된 디코더를 사용해 44.1 kHz 전대역 출력을 합성함으로써 실제 청취 품질 개선에 직접 연결되는 점도 장점이다.

훈련 방식

기본 백본 없이 스크래치로 학습되었으며 약 681.5시간의 스튜디오 발화(약 2.5k 화자, 28% 광대역)를 사용해 학습했다. 학습은 DSP 기반의 calibrated degradation 오그멘터로 실제 손상 분포를 샘플별로 재현한 입력을 사용했고 autoregressive RQ-Transformer 아키텍처로 Descript Audio Codec의 9-codebook RVQ 토큰을 예측하도록 훈련되었다. 공개 체크포인트 학습에 소요된 자원은 약 63 GPU-시간으로 명시되어 있다.

알아두면 좋은 것

• 모델은 프레임 시퀀스를 다루는 time-transformer와 프레임 내부의 9개 RVQ 코드북을 순차적으로 예측하는 depth-transformer의 이중 트랜스포머 구조를 사용해 코드북 간 인과관계를 보존한다. 이 설계는 한 프레임 벡터에서 병렬 헤드로 모든 코드북을 읽어내던 이전 방법과 달리 각 코드북을 로컬 AR로 예측해 RVQ의 인과 체인을 재현한다. 그 결과 코드북 깊이 방향의 예측 정합성이 개선되어 고주파 세부 재생산에서 이득을 얻는다.
• 모델은 스크래치 학습으로 구축되었으며 약 166.6M의 학습 가능한 파라미터와 고정된 Descript Audio Codec 디코더(~74M)를 사용한다. 공개 체크포인트는 63 GPU-시간의 학습 비용으로 획득되었음을 명시하며 이는 미리 학습된 백본 없이도 경쟁력 있는 복원 성능을 얻을 수 있음을 시사한다. 학습 데이터는 681.5시간, 약 2.5천 명의 화자를 포함하는 영어 중심의 스튜디오 발화 세트였다.
• 벤치마크는 동일한 750개의 실제 손상 녹음을 대상으로 DNSMOS-P.835의 OVRL과 CER을 함께 측정해 주관적 품질과 텍스트 보존을 동시에 평가했다. DIAMOND는 평균 ΔOVRL +0.255로 클립의 약 88%에서 개선을 보였고 DNSMOS 기준으로 비교 그룹에서 2위를 차지했으며 CER은 표에서 0.028을 기록했다. 두 가지 CER 우수 모델은 비자기회귀(non-autoregressive) 방식이었고 AR 디코더는 노출 편향으로 인해 꼬리 성능에서 손실이 발생할 수 있음이 명시되었다.

기술적 특징

• 두 개의 트랜스포머 읽기 구조를 사용하여 시계열과 코드북 내부 예측을 분리했다. time-transformer는 프레임 시퀀스를 처리해 시간 축의 컨텍스트를 모델링하고 depth-transformer는 프레임 내부의 9개 RVQ 코드북을 로컬 AR로 순차 예측하여 코드북 간 인과 체인을 복원한다. 이 분리는 한 벡터로 모든 코드북을 병렬 읽어내던 접근보다 코드북 별 예측 정합성과 세부 재생산에서 이점을 제공한다.
• 출력은 고정된 신경 오디오 코덱(Descript Audio Codec)의 디코더를 이용해 44.1 kHz 파형을 합성하도록 설계되었다. 디코더는 내부적으로 9-book RVQ를 사용하므로 모델은 이 토큰 시퀀스를 정확히 예측해야만 고주파 성분과 치찰음 등의 세부를 재생성할 수 있다. 코덱이 8 kHz 이상 대역을 잘라내는 특성 때문에 손실된 고주파는 생성적으로 보충되어야 하며 이 점이 DIAMOND가 생성적 복원을 선택한 기술적 이유이다.
• 모델은 스크래치로 학습되었고 약 166.6M의 학습 가능한 파라미터를 가진다며 공개 체크포인트 학습에는 63 GPU-시간이 소요되었다고 명시되어 있다. 이 수치는 사전학습된 음성 백본 없이도 경쟁력 있는 성능을 얻을 수 있음을 보여주며, 학습 데이터와 오그멘터 설계가 효율적으로 결합되었음을 시사한다. 스크래치 학습은 특정 복원 목적에 맞춘 데이터 분포 보정과 오버피팅 통제 측면에서 유리한 설계 선택이었다.
• 입력 파이프라인은 임의 샘플의 열화에 대해 'calibrated degradation' 방식을 적용해 DSP 기반 오그멘터가 샘플별로 적합한 코덱 팔레트를 선택하도록 했다. 이 방식은 단순 랜덤 효과 합성보다 실제 손상 분포와 통계적으로 더 잘 맞춰진 입력을 생성하므로 학습된 모델이 실세계 파일의 열화에 대해 더 강건해진다. 결과적으로 복원 성능이 실제 손상 데이터셋에서 일관되게 향상되었다고 보고되었다.
• 추가적인 모델 프리미티브로 RMSNorm, learnable per-layer RoPE, QK-Norm, LayerScale, GELU FFN이 사용되어 안정적인 학습과 성능 향상을 도모했다. 이러한 구성 요소들은 트랜스포머의 수렴 안정성과 일반화 성능을 개선하기 위해 도입되었고, 특히 RoPE와 QK-Norm은 긴 시퀀스와 AR 디코딩 안정화에 기여했다. README는 이들 기술적 선택이 학습의 실용 비용과 성능 균형에 기여했다고 기술하고 있다.

차별점

• 프레임-내부 코드북을 로컬 AR로 예측하는 depth-transformer를 더해 RVQ의 인과 체인을 복원함으로써 코드북 깊이 방향의 정합성을 개선했다. 이 설계는 기존 모델이 한 프레임 벡터에서 병렬로 코드북을 읽어내던 방식과 달리 각 코드북의 예측을 순차적으로 연결해 세부 재생산을 강화한다. 결과적으로 고주파 및 미세 음향 정보 복원에서 이점을 보였다.
• 스크래치로 학습된 166.6M 파라미터 모델임에도 비교 벤치에서 상위권에 위치했고 학습 자원 소요가 상대적으로 작게 보고되어 특정 복원 목적에 맞춘 경량 학습 전략을 입증했다. 공개 체크포인트의 학습 비용은 약 63 GPU-시간으로 명시되어 있어 사전학습 없는 접근의 비용효율성을 보여준다. 이로 인해 특정 도메인에 최적화된 복원기를 자체 데이터로 빠르게 구축할 수 있는 가능성이 열렸다.
• 출력을 Descript Audio Codec의 고정 디코더로 합성해 44.1 kHz 완전 대역 오디오를 제공함으로써 단순히 노이즈를 제거하는 필터 방식이 아니라 상실된 대역을 생성적 방식으로 보충한다. 이 접근은 코덱 컷오프로 손실된 성분을 문맥 신호로부터 복원해야 하는 문제 설정과 직접 맞닿아 있으며, 결과는 청취 품질 개선과 동시에 생성적 변경이라는 특성을 수반한다. 따라서 출력은 '복원된' 것이지 '원본 복구'라고 보장되지 않는 한계가 공지되어 있다.

벤치마크