하나의 모델로 다양한 지연 예산을 지원하는 실시간 범용 음성 향상

실시간 음성 애플리케이션들은 서로 다른 지연 예산을 요구하고, 그 결과로 각 예산에 맞춘 별도 모델이 필요해지는 현실이 존재한다. 단일 모델이 알고리즘적 지연과 연산 지연을 모두 제어할 수 있다면 배포·관리 부담과 모델 수명 주기 비용이 크게 감소한다. 본 논문은 병렬 합성곱과 조기 종료 메커니즘을 결합해 하나의 모델로 다양한 지연 구성을 지원함으로써 실시간 환경에서의 실용성을 확보했다.

실시간 음성 향상에서는 전체 지연이 알고리즘적 지연과 연산적 지연의 합으로 결정된다. 알고리즘적 지연은 STFT 창 크기와 룩어헤드 프레임 수로 즉시 계산 가능하며, 연산적 지연은 하드웨어 성능과 네트워크 깊이에 의해 결정된다. 기존 연구들은 보통 하나의 지연 설정에 맞춰 모델을 최적화했기 때문에 다양한 배포 조건에 반복 학습이 필요했다. 본 논문은 룩어헤드마다 별도 합성곱 브랜치를 두어 입력 패딩 구성을 고정된 학습 그래프에서 처리하도록 했다. 이 방식은 합성곱의 translation equivariance가 패딩 변경에 의해 학습 효율을 떨어뜨리는 문제를 회피한다. 학습 시에는 무작위로 브랜치를 선택해 모든 룩어헤드 설정에 대해 표현을 학습시키며, 배포 시에는 사용자가 원하는 브랜치만 활성화하면 된다. 연산 지연 측면에서는 네트워크의 중간 층들에 예측 헤드(exit)를 두어 연산 깊이를 줄일 수 있게 했다. 초기에는 하나의 디코더를 공유해 중간 표현의 일관성을 확보하고, 이후 단계에서 각 exit별로 디코더를 분리하여 층별 최적화를 수행했다. 이 두 단계 학습은 공유로 인한 안정성 유지와 개별 최적화의 이점을 결합하여 얕은 출력을 포함한 다양한 깊이에서 성능을 개선했다.

전체 아키텍처는 Mamba 기반의 시퀀스 모델링 블록을 최대 12층으로 쌓은 인코더-디코더 구조에 기초한다. 인코더와 시퀀스 모델링 모듈은 causal convolution과 unidirectional Mamba를 사용해 인과성 제약을 만족시키며 채널 차원에만 layer normalization을 적용했다. 출력부는 여러 exit layer와 다중 디코더를 수용하도록 설계되어 배포 시 선택된 깊이까지 연산을 수행하도록 구성된다. 알고리즘 지연 제어는 합성곱의 왼쪽·오른쪽 패딩을 조정하는 방식으로 룩어헤드 프레임 수를 설정한다. 룩어헤드 0,1,2에 대해 각각 (left,right) padding을 (2,0),(1,1),(0,2)로 고정한 별도 합성곱 브랜치를 둔다. 학습 중에는 각 스텝에서 브랜치를 무작위 선택해 그래프를 구성하므로 모든 브랜치가 데이터 분포에 노출된다. 연산 지연 제어는 early-exit 메커니즘으로 구현되며 exit 후보층마다 출력 헤드를 둘 수 있다. 학습은 두 단계로 진행되어 먼저 공유 디코더로 전체 exit 성능을 안정화시키고, 그 다음 각 exit에 대한 전용 디코더를 초기화한 뒤 인코더 및 시퀀스 모듈을 작은 학습률로 미세조정한다. 학습 하이퍼파라미터는 AdamW 기반이며 기본 학습률은 0.0002, multiple decoder stage에서 인코더 쪽은 이 학습률의 1/10로 설정되었다.

제안된 모델은 최대 12층과 룩어헤드 02를 조합해 총 30개의 지연 구성(출력층 312, 룩어헤드 0~2)을 지원한다. URGENT 2025 비공개 테스트셋 결과에서 병렬 합성곱과 다중 디코더 단계를 적용한 모델은 early-exit 단독보다 전반적으로 우수한 평가 지표를 보였으며 전문화된(specialized) 모델과의 성능 차이를 좁혔다. 특히 two-stage training 도입 후 CAcc 등 일부 지표에서 유의한 개선이 관찰되었다. VoiceBank-DEMAND 벤치마크 비교에서 제안 모델의 exit layer=8, look-ahead=0 구성은 PESQ 2.76, ESTOI 0.86, SI-SDR 18.6을 기록했다. 동일 출력을 룩어헤드 1로 설정하면 PESQ 2.82, ESTOI 0.86, SI-SDR 18.8로 알고리즘 지연이 늘어나는 대신 모든 평가 지표가 개선되었다. 논문 본문에는 총 지연과 성능의 관계를 세밀히 분석한 그래프가 포함되어 있어 지연 예산에 따른 선택 트레이드오프를 정량적으로 확인할 수 있다. 연산 지연 측정은 온라인 처리 기준으로 NVIDIA A100에서 수행되었고, 12층 모델의 경우 연산 지연이 25 ms로 hop 크기 20 ms를 초과해 RTF가 1.25가 되어 실시간 제약을 만족하지 못했다. 저사양 하드웨어에서는 exit layer를 낮추거나 룩어헤드를 조정해 실시간 요건을 맞추는 방식이 필요하다고 제시되었다. 전반적으로 제안 프레임워크는 하나의 모델로 다양한 지연 설정에서 실무적 성능을 확보할 수 있음을 실험적으로 증명했다.

전체 아키텍처는 Mamba 기반 블록을 사용해 최대 12개의 Mamba 레이어로 구성되며 총 파라미터 수는 최대 3.7M이다. 인과성을 확보하기 위해 causal convolution을 사용하고 temporal Mamba는 unidirectional으로 교체했다. 정규화는 채널 차원에만 layer normalization을 적용해 실시간 처리에서의 안정성을 유지했다. 알고리즘 지연은 SFI STFT 설정을 사용해 샘플링 주파수에 무관하게 40 ms 창과 20 ms hop을 유지하도록 하였고, 알고리즘 지연은 40 ms + (#look-ahead × 20 ms)로 계산되었다. 룩어헤드별로 서로 다른 패딩을 가진 합성곱 브랜치를 두어 룩어헤드 0/1/2에 대해 (left,right) padding을 각각 (2,0),(1,1),(0,2)로 설정했다. 학습 시 각 스텝에서 브랜치를 무작위로 선택해 모든 브랜치가 학습 데이터에 노출되도록 하였다. 연산 지연 제어를 위해 여러 중간 레이어에 exit 헤드를 두었고 초기 학습 단계에서는 하나의 공유 디코더를 사용했다. 공유 디코더로 학습이 안정화된 이후에는 공유 가중치로 각 exit 전용 디코더를 초기화하고 인코더 및 시퀀스 모듈을 기본 학습률의 1/10로 미세조정해 층별 성능을 향상시켰다. 최종 손실은 회귀 손실로 사전 학습한 후 판별자 기반의 adversarial fine-tuning을 수행해 품질-충실도 균형을 맞추었다. 학습 설정은 AdamW 옵티마이저를 사용했으며 기본 학습률은 0.0002로 설정되었다. exit layer는 학습 시 312 사이에서 무작위 샘플링되었고 룩어헤드도 02 사이에서 무작위 샘플링되었다. 평가 지표로는 PESQ, ESTOI, SI-SDR, DNSMOS, NISQA, UTMOS, SBERT, LPS, ASR 문자 정확도(CAcc)를 사용해 품질과 다운스트림 성능을 함께 측정했다.

가장 깊은 모델 설정(12층)의 경우 연산 지연이 25 ms로 hop 크기 20 ms를 초과해 NVIDIA A100 상에서 RTF가 1.25가 되었고 이 설정은 해당 하드웨어에서 실시간 요구를 만족하지 못했다. 얕은 exit의 성능은 심층 모델의 성능에 전반적으로 못 미치며 두 단계 학습으로 격차를 줄였지만 완전히 동일한 성능을 달성하지는 못했다. 논문은 추가적인 가속화 수단으로 pruning 및 quantization을 향후 연구 방향으로 제시하며 현재 설정에는 하드웨어 의존성이 존재함을 명시했다.