X-AuT의 음성 Encoder 층 압축

왜 중요한가

음성 LLM의 Audio Encoder는 모든 입력 프레임을 처리하므로 Streaming·Mobile·차량 환경의 첫 토큰 지연에 영향을 줍니다. X-AuT는 Encoder 층을 통째로 제거한 뒤 표현 정렬과 Cross-Scale Distillation으로 Decoder 입력의 변화를 복구해, 16층에서 macro 오류율을 5.61%에서 5.27%로 낮추고 14층에서는 Audio Tower 파라미터를 20.7% 줄인 5.75%를 기록했습니다.

핵심 기여

행동 Probe를 이용한 층 조합 선별

개별 층과 층 쌍을 동일한 초기화·데이터·복구 예산으로 짧게 학습한 뒤 다섯 개 개발 세트의 macro TER가 낮은 조합을 선택합니다. 단일 제거에서 강했던 {6, 8}은 함께 제거하면 7.78%가 되었지만, {5, 6}은 6.93%를 기록해 층 상호작용을 직접 측정하는 절차의 필요성을 확인했습니다.

18층에서 16층, 14층으로 진행적 압축

첫 단계에서 원래 층 {1, 18}을 제거해 16층을 만들고, 복구된 16층 Checkpoint에서 {5, 6}을 추가 제거해 14층을 만듭니다. 같은 명목 예산에서 직접 18층→14층을 수행한 경우의 6.73%보다 진행적 경로의 5.75%가 낮은 macro 오류율을 기록했습니다.

Teacher 규모 차이를 활용한 복구

24층·2048차원 Audio Encoder를 가진 Qwen3-ASR-1.7B의 중간 표현과 Logit을 14·16층 Student에 전달합니다. Teacher 표현은 256차원 Bottleneck을 포함한 두 층 MLP로 1024차원 Student 공간에 투영하며, 교차 규모 Teacher는 자기 증류의 8.45%보다 낮은 5.55% 평균 오류율을 기록했습니다.

세 단계 복구와 LoRA Fine-tuning

Stage 0에서 중간 층·Bridge·Logit·전사 손실을 함께 최적화하고, Stage 1에서 Teacher-forced와 Student-generated 접두어를 이용해 출력 분포를 맞춥니다. Stage 2에서는 Teacher 손실 없이 정답 전사 Cross-Entropy와 Source Reweighting을 적용하며, Decoder 본체는 고정하고 Attention LoRA Adapter만 학습합니다.

핵심 아이디어 이해하기

음성 LLM은 Audio Encoder가 파형을 여러 Transformer Block으로 처리한 뒤 Bridge를 거쳐 얻은 Audio Embedding을 Language Model의 Token Embedding 시퀀스에 삽입합니다. 따라서 Block을 제거하면 계산량은 줄지만 Decoder가 사전학습 때 보던 조건부 표현이 달라지고, 그 결과 조기 EOS와 큰 Deletion Error가 발생할 수 있습니다.

X-AuT는 제거할 층을 단순한 중요도 점수로 결정하지 않습니다. 후보 층을 제거한 Student를 짧게 복구하고, 같은 다섯 개발 세트에서 실제 TER를 비교해 다음 Pruning 단계로 넘길 조합을 고릅니다. 한 층의 성능이 좋더라도 다른 층과 함께 제거하면 입력 표현의 변화가 누적되므로, {6, 8}과 {5, 6}처럼 조합별 복구 결과가 달라집니다.

선택된 Student의 표현은 먼저 Teacher의 중간 층과 Bridge 출력에 맞춰집니다. 이후 Teacher의 출력 분포와 정답 전사 손실을 사용하고, 일부 단계에서는 Student가 직접 생성한 접두어 위에서 Teacher와 Student의 다음 토큰 분포를 비교합니다. 마지막으로 LoRA Adapter와 Audio Encoder를 정답 전사에 맞춰 조정해 추론 시 사용할 수 있는 압축 모델을 얻습니다.

이 구조는 층을 줄이는 것과 표현을 되돌리는 것을 분리하지 않습니다. 16층에서는 5.27%로 baseline 5.61%보다 낮은 macro 오류율을 얻었고, 14층에서는 20.7% 적은 Audio Tower 파라미터로 5.75%를 기록했습니다. 다만 영어 일부 Benchmark의 성능 저하가 커져, 압축률을 높일수록 남은 Encoder 용량과 복구 품질 사이의 절충이 발생합니다.

방법론

입력 파형 x는 N개 층의 Audio Encoder와 Bridge를 거쳐 Audio Embedding으로 변환되고, 이 Embedding은 Qwen3-ASR Decoder의 Audio Placeholder 위치에 삽입됩니다. Decoder 본체는 고정하며, 목표 층 수 M에 맞춰 순서가 유지된 층 부분집합을 선택합니다. 학습 데이터는 원문 전사와 Qwen3-ASR-1.7B·Qwen3.5-Omni의 가설을 언어별로 정규화한 뒤 CER 또는 WER 기반 일관성 Tier로 분류합니다.

Pruning은 18층→16층→14층의 두 단계로 진행됩니다. 첫 단계는 원래 층 {1, 18}을 제거하고, 두 번째 단계는 복구된 16층 Checkpoint에서 단일 층과 층 쌍을 같은 0.3-epoch LoRA Warm-up으로 평가합니다. 다섯 개발 세트의 정규화 오류율 평균이 가장 낮은 {5, 6}을 두 번째 제거 조합으로 선택합니다. 이 과정은 층 조합을 입력으로 받아 복구 후 TER를 출력하므로, 정적 층 점수만으로는 포착하기 어려운 상호작용을 반영합니다.

각 Pruning 단계는 세 가지 복구 단계로 구성됩니다. Stage 0은 증류 Epoch의 5% 동안 Teacher의 중간 층과 Bridge 표현, Logit, 정답 전사를 함께 맞춥니다. Teacher의 2048차원 표현은 256차원 Bottleneck을 포함한 MLP를 거쳐 Student의 1024차원 공간으로 이동하며, Teacher 층을 Student 층 수만큼 균등 그룹화해 대응시킵니다. Stage 1은 중간 층 손실을 끄고 Bridge 정렬, Teacher-forced Logit 증류, 정답 전사 Cross-Entropy를 사용합니다.

Stage 1이 20% 진행된 뒤 매 다섯 번째 Optimizer 단계에서 Student가 Greedy Decoding으로 만든 접두어를 두 모델에 함께 입력합니다. 양쪽의 Top-k 분포를 k=512 범위에서 비교하고, 최소 3개·최대 256개 Token, 반복·과도한 길이·예산 초과 Rollout을 거부합니다. 거부된 Microbatch의 절반 이상이 무효이면 Teacher-forced 목적함수로 되돌립니다. Stage 2는 가장 좋은 Stage 1 Checkpoint에서 시작해 한 Epoch 동안 정답 전사 Cross-Entropy만 사용하고, Class 1 Source의 가중치를 Cockpit·Target Domain 쪽으로 조정합니다.

주요 결과

Qwen3-ASR-0.6B의 18층 baseline은 Audio Tower 파라미터 186.4M과 macro 오류율 5.61%를 기록했습니다. 16층 X-AuT는 167.1M 파라미터로 줄어들면서 Stage 2 macro 오류율 5.27%를 얻어 0.34 percentage point, 상대적으로 6.1% 낮아졌습니다. AISHELL-1은 3.33%에서 3.21%, CommonVoice v15 zh는 9.95%에서 8.12%, CommonVoice v15 en은 12.35%에서 10.50%, WenetSpeech-meeting은 8.36%에서 7.06%로 변했습니다.

14층 모델은 Audio Tower를 147.8M 파라미터로 줄여 baseline보다 20.70% 적은 구조를 사용합니다. Stage 2 macro 오류율은 5.75%로 baseline보다 0.14 percentage point 높았고, CommonVoice v15 zh는 8.36%, LibriSpeech test-clean은 2.45%를 기록했습니다. 반면 Fleurs-en은 5.10%, CommonVoice v15 en은 12.49%, WenetSpeech-meeting은 8.78%로 16층보다 성능 저하가 컸습니다.

Teacher 규모 비교에서 Qwen3-ASR-1.7B를 사용한 16층 복구는 평균 오류율 5.55%였고, unpruned Qwen3-ASR-0.6B를 자기 Teacher로 사용한 설정은 8.45%였습니다. 교차 규모 Teacher 설정은 열 개 Benchmark 모두에서 자기 증류보다 낮은 오류율을 기록했습니다. 이는 동일한 복구 구조에서 Teacher의 표현과 출력 분포 품질이 결과에 직접 영향을 준다는 수치적 근거가 됩니다.

학습 궤적에서는 Stage 0 TER가 500 step의 10.88%에서 2,500 step의 7.80%로 낮아졌고, Stage 1 최저점은 47,000 step의 5.76%였습니다. 이후 Stage 2가 28,000 step에서 5.36%까지 추가로 낮췄습니다. 측정된 Encoder 지연은 14층 모델에서 차량용 Accelerator 기준 21.4%, H800 기준 11.4% 감소했습니다. 모든 결과는 seed 42의 단일 실행이며 반복 Seed나 Utterance 단위 신뢰구간은 제공되지 않았습니다.

기술 상세

Speech LLM의 계산 경로는 파형 x → Audio Encoder E → Bridge B → Audio Embedding e → Token Embedding 시퀀스 → Causal Decoder D → 출력 Projection H 순서입니다. X-AuT는 Encoder와 Bridge를 학습 가능하게 두고 Decoder의 사전학습 가중치를 고정합니다. Decoder의 q/k/v/o Attention Projection에는 rank-32 LoRA Adapter를 부착하며, Stage 0·1에서는 Token Embedding과 공유되는 tied output embedding도 학습합니다.

Stage 0의 손실은 중간 층, Bridge, Logit, 전사 손실의 가중합입니다. Teacher의 24층 Audio Encoder를 Student의 M개 층 그룹으로 나누고 각 Student 층을 해당 그룹의 마지막 Teacher 층과 맞춥니다. 2048차원 Teacher 표현은 256차원 Bottleneck을 가진 두 층 MLP로 1024차원 Student 공간에 투영한 뒤, Mean Squared Error와 Cosine Distance를 계산합니다. Logit 증류는 Gold Prefix 조건에서 Temperature-scaled KL Divergence를 사용합니다.

Stage 1은 중간 표현 손실을 제거하고 Bridge 정렬, Logit 증류, Gold Transcript Cross-Entropy를 유지합니다. 초기 20%가 지난 후 매 5번째 Optimizer 단계에서 Student의 Greedy Prefix를 생성하고, 같은 Prefix를 Teacher와 Student에 넣어 각 모델의 Top-512 Token Support의 합집합에서 출력 분포를 비교합니다. 최소 3 Token, 최대 256 Token의 Duration-aware 제한과 반복 Rollout 거부 규칙을 적용하며, 무효 Microbatch가 절반 이상이면 Teacher-forced 학습으로 대체합니다.

Stage 2에서는 Teacher 출력을 사용하지 않고 정답 전사와 모델 출력의 Cross-Entropy만 계산합니다. Audio Encoder, Bridge, Decoder LoRA는 학습률 5 × 10^-6으로 조정하고 tied lm_head/embedding은 고정합니다. Distillation 단계의 학습률은 Audio Tower 2 × 10^-5, Decoder LoRA와 tied output embedding 1 × 10^-4이며, AdamW·weight decay 0.01·gradient clipping 1.0·bf16·global batch size 512를 사용합니다.

압축률은 반올림한 모델 이름이 아니라 Checkpoint Tensor 수로 계산합니다. 18층 Audio Tower는 186.376M, 16층은 167.085M, 14층은 147.794M 파라미터이며, 14층의 감소율은 (186.376M - 147.794M) / 186.376M으로 20.70%입니다. 전체 평가는 열 개 Benchmark의 CER/WER를 Utterance 수가 아닌 Benchmark별 동일 가중치로 평균내므로, 특정 대규모 데이터 세트의 샘플 수가 macro 결과를 직접 지배하지 않습니다.

한계점

주요 결과가 seed 42의 단일 실행에 기반하며 반복 Seed, Utterance 단위 신뢰구간, 통계적 유의성 검정이 없습니다. Checkpoint 선택도 Benchmark별 최대 25개 Utterance로 제한된 개발 세트에 의존하므로 14층과 baseline의 0.14 percentage point 차이는 기술 통계 수준으로 해석해야 합니다. 실험은 하나의 모델 계열과 제한된 층 후보를 대상으로 했고, 보고된 학습은 아홉 개 일관성 Class 중 Class 1만 사용했습니다. Audio Tower만 압축했기 때문에 Autoregressive Decoder가 전체 지연 감소를 제한하며, 하드웨어 지연 측정도 반복 변동성을 포함하지 않습니다.

실무 활용

X-AuT는 이미 학습된 Speech LLM에서 Audio Encoder의 전체 Transformer Block을 단계적으로 제거하고, Decoder 본체를 고정한 채 표현·출력 분포·전사 손실을 조정하는 압축 절차입니다. 공개된 GitHub 저장소와 논문에 기재된 설정을 바탕으로 16층과 14층이라는 두 운영 지점을 재현할 수 있습니다.

Streaming 음성 인식에서 Audio Encoder 계산량과 첫 토큰 지연을 줄이는 모델 압축
차량용 Accelerator에서 Audio Tower 파라미터와 Encoder 지연을 함께 줄이는 배포 실험
대규모 음성 학습 풀에서 Transcript Consistency Tier를 이용한 고품질 전사 선별
기존 Speech LLM의 층 조합별 복구 가능성을 짧은 Behavioral Probe로 비교하는 구조 탐색

코드 공개 여부: 공개

코드 저장소 보기

키워드

X-AuT(Progressive Audio-Encoder Compression)Speech LLM(음성 대규모 언어 모델)Cross-Scale Distillation(교차 규모 지식 증류)LoRA Fine-tuning(LoRA 미세 조정)Behavioral Probe(행동 기반 층 선별)Transcript Consistency(전사 일관성)Audio Encoder Pruning(음성 Encoder 가지치기)

용어 해설

교차 규모 지식 증류(Cross-Scale Distillation): — 서로 다른 크기와 은닉 차원을 가진 Teacher와 Student 사이에서 중간 표현과 출력 분포를 전달하는 방법입니다. 이 논문에서는 24개 Audio Encoder 층과 2048차원 은닉 상태를 가진 Qwen3-ASR-1.7B가 14·16층, 1024차원 Student의 표현과 Logit을 감독합니다. 이를 통해 단순한 자기 증류보다 강한 복원 신호를 얻습니다.
행동 기반 Probe(Behavioral Probe): — 특정 층을 제거한 후보 모델을 짧은 동일 조건으로 복구한 뒤 실제 음성 인식 오류율을 측정하는 선별 절차입니다. 개별 층의 정적 중요도 대신 여러 층을 함께 제거했을 때의 복구 가능성을 직접 비교하므로 층 간 비가산적 상호작용을 반영합니다.
전사 일관성(Transcript Consistency): — 원본 전사와 두 외부 ASR 시스템의 가설 사이에서 문자 또는 단어 편집률을 비교해 학습 데이터의 일치 수준을 분류하는 기준입니다. 중국어에는 CER, 영어에는 WER을 사용하며, 두 가설과 원문이 모두 정확히 일치하는 Class 1을 복원 학습에 사용합니다.
Student-Policy 증류(Student-Policy Distillation): — Teacher가 정답 접두어만 받는 대신 Student가 실제로 생성한 토큰 접두어를 함께 입력받아 두 모델의 다음 토큰 분포를 맞추는 증류 방식입니다. X-AuT는 Stage 1의 20%가 지난 뒤 매 다섯 번째 Optimizer 단계에서 이를 적용하고, 비정상 Rollout은 Teacher-forced 학습으로 되돌립니다.
공유 출력 임베딩(Tied Output Embedding): — Decoder 입력 Token Embedding과 출력 lm_head가 동일한 가중치를 공유하는 구조입니다. X-AuT는 Stage 0·1에서 이 공유 출력을 학습시켜 pruned Audio Encoder가 만든 새로운 조건부 표현에 맞는 Token 분포를 조정하고, Stage 2에서는 해당 가중치를 고정합니다.

X-AuT의 음성 Encoder 층 압축

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

AuK, 음성 생성과 편집을 하나로 묶다

음성 Fine-tuning 성능을 좌우하는 기준 전사와 세그먼트

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

AuK, 음성 생성과 편집을 하나로 묶다

음성 Fine-tuning 성능을 좌우하는 기준 전사와 세그먼트