Vividh-ASR: 강건한 Indic 음성 인식을 위한 Complexity-Tiered 벤치마크 및 최적화 다이나믹스

대규모 사전학습 기반의 다언어 ASR에서 저자원 언어의 spontaneous 음성에 대한 성능 저하가 흔하다. 본 연구는 복잡도에 따라 Tier를 나눈 Vividh-ASR 벤치마크와 학습률 타이밍 및 커리큘럼 방향의 상호작용을 평가하여, 초기 대규모 업데이트가 엔코더의 음향 기하를 거의 손상시키지 않으면서 디코더를 재구성하도록 하는 학습 전략(R-MFT)을 제시한다. 이를 통해 244M Whisper 모델이 769M 대비 경쟁하거나 우수한 성능을 달성할 수 있음을 보이며, 스튜디오-바이어스(studio-bias) 문제를 해결하는 방향을 제시한다.

출발점: 사전학습된 대규모 Whisper 계열 모델은 저자원 Indic 음성의 복잡한 phonotactics에 쉽게 적응하지 못한다. 기존 접근은 주로 데이터 규모 확장이나 easy-to-hard 커리큘럼에 의존하는데, 이는 spontaneous 음성에 대한 일반화에 한계를 보인다. 본 논문은(1) 큰 파라미터 업데이트를 초기 큰 시점에 주입하는 학습 타이밍의 중요성, (2) 데이터 난이도에 따른 커리큘럼 방향의 영향력을 분리 분석한다. 해결 원리: 2×2 팩토리얼 설계를 통해 학습률 타이밍과 커리큘럼 방향의 교호작용을 시험하고, R-MFT를 제안한다. 달라지는 점: 고 LR 초기 업데이트를 사용하면 encoder의 음향 기하를 보존하면서 decoder를 재구성해 언어 특유의 phonotactics를 포착한다. 결과적으로 244M 파라미터가 769M 대비 경쟁하거나 우수한 성능으로 수렴한다.

전체 접근은 두 축의 팩토리얼 설계로 구성된다. 첫째, Learning Rate(LR) 타이밍은 감소 스케줄(2e−4 → 1e−4 → 1e−5)과 증가 스케줄(1e−5 → 1e−4 → 2e−4)을 비교한다. 둘째, Curriculum Direction은 Easy→Hard( tier A→B→C+A)와 Hard→Easy(C→B→A+C)을 대조한다. 패러미터: Whisper-small(244M) 및 Whisper-medium(769M), AdamW with weight decay 0.1, 배치 128, 10%의 워밍업, 코사인 감쇠. D Tier는 학습에 포함하지 않으며 HuggingFace Transformers로 NVIDIA H100에서 학습한다. R-MFT: Stage1(Spontaneous, LR=2e−4, Tier C) → Stage2(Broadcast, LR=1e−4, Tier B) → Stage3(Consolidation, LR=1e−5, Tier A+C)로 구성된다. 수학적 원리 대신 학습 스케줄의 효과를 비교하고, 내부 표현의 변화를 CK A와 SVD로 분석한다. Pattern: LR 입력 → 스케줄링에 따라 가중치 업데이트를 수행 → 최종 WER를 얻는다.

5.2 Overview의 벤치마크 결과: Table 4의 Global WER 기준 Malayalam(Hypers)와 Hindi를 비교한다. IndicWhisper(769M): Mal 48.64, Hi 25.01; Tier A(Studio): Mal 33.01, Hi 16.20; Tier B(Broadcast): Mal 33.11, Hi 16.22; Tier C(Spontaneous): Mal 66.09, Hi 39.87; Tier D(Noise): Mal 48.07, Hi 14.99. Single-stage, low LR(769M): Mal 77.79, Hi 25.25 Global; Tier A 55.68/24.01; Tier B 78.64/16.22; Tier C 82.37/30.62; Tier D 82.17/21.60. Single-stage, high LR(769M): Mal 40.39, Hi 16.67 Global; Tier A 27.31/12.38; Tier B 30.48/11.33; Tier C 50.30/22.99; Tier D 50.78/14.05. Standard MFT(769M): Mal 42.25, Hi 18.81 Global; Tier A 33.56/16.41; Tier B 32.75/10.91; Tier C 51.03/24.91; Tier D 51.51/16.25. R-MFT(Medium)(769M): Mal 39.36, Hi 18.82 Global; Tier A 31.66/16.09; Tier B 31.66/10.11; Tier C 46.18/24.91; Tier D 45.73/17.27. R-MFT(Small)(244M): Mal 44.41, Hi 21.41 Global; Tier A 36.49/19.16; Tier B 35.05/11.49; Tier C 53.74/27.34; Tier D 48.04/20.97. 결과적으로 고 LR 초기 업데이트가 성능 향상을 주도하며, Hard→Easy 커리큘럼은 Malayalam에서 추가 이점을 보인다. 5.3과 5.4에서 LR 타이밍이 최종 성능에 가장 큰 영향력을 갖고, 커리큘럼 방향은 추가적 이점을 제공한다. 5.5에서 파라미터 규모의 효율성이 강조되며, 244M R-MFT가 IndicWhisper 대비 우수한 성능으로 입증된다.

아키텍처는 Whisper 기반의 Encoder-Decoder 구조를 사용한다. 2×2 팩토리얼 설계로 LR 타이밍(Decreasing vs Increasing)과 Curriculum Direction(Easy→Hard vs Hard→Easy)을 분리 평가한다. LR 타이밍의 핵심 원리는 초기 대규모 가중치 업데이트가 pre-trained priors를 빠져나오게 하고, 그 후 점진적 감소로 안정화를 도모하는 것이다. 커리큘럼 방향은 높은 난도 Tier(C) 데이터를 초기 고 plasticity 구간에 노출시켜 decoder가 disfluency와 노이즈에 적응하도록 유도한다. R-MFT는 Stage1: Spontaneous(Tier C) LR=2e−4, Stage2: Broadcast(Tier B) LR=1e−4, Stage3: 1:1 Tier A+C 혼합 LR=1e−5로 구성된다. 구현은 AdamW, weight_decay=0.1, 10% 선형 warmup, cosine annealing, 배치 크기 128, GPU는 NVIDIA H100, Tier D는 학습에서 제외.

현재 데이터셋은 Hindi와 Malayalam에 한정되며, Tier D(Noise) 평가만 zero-shot으로 사용되었다는 점이 한계다. 향후 언어 확대 및 self-supervised/Conformer 기반 모델로의 일반화 연구가 필요하다.