Qwen3.6-35B에 대한 사후적 Adaptive MoE 게이팅 실험과 실증적 벤치마크

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

사전 학습된 Qwen3.6-35B 고정-k MoE 모델에 대해 런타임 임계값 기반의 제로-게이팅을 구현해 PTB에서 PPL을 비교한 결과 대부분 설정에서 활성 전문가 수를 줄이면 PPL이 악화되었고 k를 늘린 뒤 높은 임계값을 쓴 한 예외만 미세한 개선을 보였다. 이 실험은 GGML의 정적 그래프 제약을 우회해 모든 k FFN을 계산한 뒤 낮은 신뢰도의 전문가를 0으로 만들고 재정규화하는 방식으로 동작하며 구현 패치와 로그, 스크립트가 공개되어 재현성이 확보되어 있다. 결론적으로 사후적 AMG는 고정-k로 훈련된 라우터에서는 신호 손실을 피하기 어렵고 진정한 토큰별 변이를 얻으려면 라우터만을 목표로 하는 엔트로피 정규화 기반 미세조정이 필요하며 이 방식은 약 20GB VRAM 요구로 실험적 제약이 존재한다.

실용적 조언

정적 그래프 환경에서 동적 전문가 수를 흉내내려면 제로-게이팅으로 모든 FFN을 계산한 뒤 낮은 신뢰도의 전문가 출력을 0으로 하고 결과를 재정규화하는 방법을 사용할 수 있다.
사후 임계값 기반 게이팅을 시도하기 전에 라우터 분포의 샤프니스와 각 전문가의 기여 비율을 먼저 점검해야 하며, 평균 활성 전문가 수와 PPL 변화를 함께 모니터링해야 한다.
실제로 라우터의 거동을 개선하려면 gate 파라미터만을 대상으로 한 미세조정과 엔트로피·사용률 균형 정규화를 고려해야 하며 약 20GB VRAM을 예상해야 한다.

섹션별 상세

이 프로젝트는 사전 학습된 fixed-k MoE 모델에 대해 사후적(adaptive, post-hoc) 게이팅을 적용했을 때 실제로 토큰별 활성 전문가 수의 의미 있는 변이가 발생하는지와 품질 영향이 어떤지를 검증하려는 실험적 문제에서 출발했다. 구현은 llama.cpp의 GGML 제약을 우회하기 위해 모든 k개의 FFN을 계산하고 낮은 신뢰도의 전문가 출력을 0으로 만든 뒤 남은 전문가들을 재정규화하는 제로-게이팅으로 이루어졌다. 실험은 PTB 데이터셋에서 문맥 길이 512, 192 청크 조건으로 수행되었고 코드와 로그가 GitHub에 공개되어 재현 가능한 근거를 제공한다.

구현 측면에서는 GGML의 정적 그래프 제약 때문에 진정한 동적 k 선택이 불가능했기 때문에 런타임 환경변수로 임계값(threshold), 최소·최대 k를 제어하도록 설계했고 ggml_map_custom1 콜백을 통해 게이트 출력을 후처리하는 패치를 적용했다. 입력 토큰에 대해 라우터의 원시 가중치를 정규화한 뒤 누적 확률 임계값으로 컷오프하는 방식이 핵심이며, 낮은 신뢰도의 전문가를 0으로 만드는 처리가 출력 재정규화 단계에서 반영된다. 이 구현은 운영 환경에서 동적 라우팅을 흉내낼 수 있는 실용적 워크어라운드로 보고되며 패치와 스크립트가 저장소에 포함되어 있다.

실험 결과는 수치로 근거가 제시되었고 기본 k8 베이스라인의 PPL이 11.3277 ±0.143인 상황에서 k8에 0.75 임계값을 적용하면 PPL이 12.1226 ±0.155로 악화되고 평균 활성 전문가 수가 5.42로 감소했다는 점이 주요 관찰이다. 반대로 k12에서 임계값 0.90을 적용한 경우 PPL이 11.2925 ±0.143로 미세하게 베이스라인을 하회했고 평균 활성 전문가 수는 10.31로 보고되었다. 이 수치들은 임계값 게이팅이 항상 이득을 주지 않으며 모델의 학습 시 설정된 k와 라우팅 분포가 결과를 결정짓는 중요한 요인임을 보여준다.

핵심 실험적 인사이트는 사전 학습된 fixed-k 모델의 라우터 분포가 훈련 설계에 의해 평탄하게 형성되어 있어 임계값 기반 절단이 노이즈가 아닌 실제 신호를 제거한다는 점이다. 원문은 k=8로 훈련된 라우터의 정규화 후 분포 예시로 [0.16,0.14,0.13,0.12,0.12,0.11,0.11,0.11]을 들었고 이는 상위 전문가를 절단하면 각각 11~13%의 출력 기여를 잃는다는 구체적 이유로 연결된다. 따라서 단순한 사후 게이팅은 토큰별 유의미한 가변성을 확보하지 못하고 품질 저하를 초래할 가능성이 크다.

해결 방향으로 제안된 것은 라우터 파라미터만을 목표로 하는 미세조정이다. 구체적으로 언급된 손실은 L = L_LM + λ_entropy H(router) + λ_balance KL(usage, uniform) 형태로 라우터 엔트로피 및 사용률 균형을 정규화해 토큰별 전문가 선택의 변이를 키우는 접근이고 이때 21M의 게이트 가중치만 업데이트하고 모든 전문가 FFN은 동결한다. 원문은 이 파이프라인을 포함했으며 하드웨어 요구는 약 20GB VRAM로 현재 16GB A5000 환경에서 정체가 있음을 명시했다.

용어 해설

Mixture of Experts (MoE): — MoE는 각 토큰마다 여러 전문가(FFN)를 분기시켜 계산을 분배하는 아키텍처로, 라우터가 입력에 따라 활성화할 전문가 집합을 선택하고 선택된 전문가들의 출력 가중합을 사용해 다음 레이어로 전달한다. 이 구조는 계산량을 키우지 않고 모델 용량을 확장할 수 있으나 라우팅 분포가 평탄하면 전문가 절단이 곧 신호 손실로 연결된다.
제로-게이팅(Zero-Gating): — 제로-게이팅은 정적 계산 그래프 환경에서 동적 k 선택을 흉내내기 위해 모든 k개의 FFN을 계산한 뒤 낮은 신뢰도의 전문가 출력을 0으로 만들고 남은 전문가 결과를 재정규화하는 기법으로, 실제 연산 회피 없이 런타임에서 활성 전문가 수를 가변처럼 취급한다.
엔트로피 정규화(Entropy Regularization): — 엔트로피 정규화는 라우터 분포의 샤프닝 또는 평탄화 방향으로 작동하는 정규항을 라우터 손실에 추가해 라우터 엔트로피를 제어하는 방법으로, 목표는 특정 토큰에서 전문가 선택의 변이를 늘리고 사용률 균형을 확보하는 것이다.
당혹도 (Perplexity)(Perplexity (PPL)): — Perplexity는 언어 모델의 예측 불확실도를 수치화한 지표로 낮을수록 모델의 다음 토큰 예측이 정확함을 의미하며 본 게시물에서는 PTB 데이터셋에서의 PPL 변화를 품질 영향 근거로 사용했다.

언급된 도구

llama.cpp중립링크

GGML 기반 경량 추론 엔진을 수정해 런타임 게이팅 후처리를 적용하는 데 사용됨

GGML중립

정적 그래프 제약을 가진 메모리·연산 백엔드로서 제로-게이팅 워크어라운드가 필요하게 만든 핵심 런타임

언급된 리소스

GitHubAdaptive-MoE-Gate-AMG-for-Qwen3.6-35B