Mega-ASR: Real-world Acoustic Simulation 확장을 통한 In-the-wild 음성 인식

현실 세계 환경은 소음, 원거리 마이크, 에코, 전송 손실 등 다중 요인이 복합적으로 작용한다. 기존 모델은 단일 요인에 초점을 맞추거나 한정된 합성 조건에서 학습되어 일반화가 제한된다. VOICES-IN-THE-WILD-2M 데이터셋과 A2S-SFT, DG-WGPO를 결합해 음향-의미 간 연결을 단계적으로 강화하고, RL 기반의 동적 보상으로 복합 조건에서도 의미 재구성과 정확도 향상을 달성한다.

단계1에서 음향 요소를 atomic하게 모델링한 뒤, 7가지 atomic 효과를 조합해 54개의 compound 시나리오를 구성한다. 단계2에서 A2S-SFT를 통해 음향 인식의 저-중-고 WER 구간에서의 의미 추론과 재구성을 점진적으로 강화한다. 단계3에서 DG-WGPO를 도입해 토큰-수준의 지역적 정보 회복과 문장-수준의 전체 의미 보존 사이를 WER에 따라 동적으로 융합하고, 필요 시 라우팅으로 노이즈 수준에 맞춘 백본을 선택한다.

1. 프레임워크 개요: Acoustic Encoder+Aligner, LLM, 그리고 정책 모델로 구성된 MEGA-ASR를 통해 음향-의미 간 연결을 학습한다. 2) A2S-SFT: Phase I에서 encoder+aligner를 WER<30%→WER<50%→WER<70% 순으로 점진 학습, Phase II에서 LLM LoRA를 고정한 채 음성 기반 의미 적응, Phase III에서 Encoder+Aligner+LLM의 공동 학습. 3) DG-WGPO: Rwer(WER 보상)와 Rrep(반복 보상)로 고정 보상을 제공하고, Rdynamic에서 Rfine과 Rstruc를 τ(WER 임계값)에 따라 다르게 가중하여 두 계층의 보상을 동적으로 융합한다. 4) 인퍼런스 라우팅: 경량 MFCC 기반 이진 분류기로 입력의 품질을 판단해 깨끗한 경우 Qwen3-ASR 백본으로, 악조건인 경우 Mega-ASR LoRA로 라우팅한다. 5) 구현/학습: 2GPU 분산 학습, Phase I/II/III 각각의 하이퍼파라미터 및 LoRA 랭크(r)=8, αdyn=0.6, αs=0.4, τ=0.3 등 고정값. RL은 6,000 스텝, K=16 롤아웃, 0.4Rsimple+0.6Rdynamics로 설정.

주요 벤치마크에서의 성능: VOiCES R4-B-F 및 NOIZEUS Sta-0에서의 WER 감소가 두드러지며, 평균 WER 6.70으로 SOTA를 능가한다. Voices-in-the-Wild-Bench에서 혼합 degradations, far-field, recording artifact에서 Mega-ASR이 일관되게 최상위 성능을 보여준다. Abalation 결과: A2S-SFT 및 DG-WGPO의 각 구성 요소를 제거하면 WER이 상승하는 경향을 보이며, Rstruc가 특히 문장-수준 재구성에 중요하다. 라우터 도입으로 인퍼런스 오버헤드는 미미하며, 라우팅 도입 후 clean-domain 성능의 저하 없이 robust 성능을 유지한다.

아키텍처는 Encoder+Aligner+LLM으로 구성되며, A2S-SFT는 Phase I(Encoder+Aligner), Phase II(LLM) 및 Phase III(공동 조정)로 구성된다. DG-WGPO의 Rwer, Rfine, Rstruc 구성은 수식으로 정의되며, τ=0.3, αs=0.4, αdyn=0.6으로 설정된다. Token-level refinement는 h,r의 유사도 sim(h,r)=1−edit(h,r)/max(|h|,|r|)로 hard/soft를 구분하고, Rfine는 정답 토큰의 정확도와 잘못된 토큰의 비율에 기반해 계산된다. Sentence-level reconstruction은 LCS(H,R)와 길이 비율의 조합으로 Backbone의 일관성을 평가한다. 전체 보상은 R=(1−αdyn)Rsimple+αdynRdynamic으로 합성된다.