REAM: LLM에서 전문가 병합을 통한 전문가 가지치기 성능 향상

MoE 아키텍처는 연산량 대비 성능이 뛰어나지만 거대한 메모리 점유율이 배포의 걸림돌이 된다. 이 논문은 단순히 전문가를 제거(Pruning)하는 대신 유사한 전문가를 병합(Merging)하는 REAM 방식을 통해, 메모리 사용량을 획기적으로 줄이면서도 모델의 지식을 보존하는 최적의 경로를 제시한다.

MoE 레이어는 입력 토큰마다 가장 적합한 전문가를 선택하는 Softmax 기반의 라우터를 사용한다. 기존의 Pruning 방식은 중요도가 낮은 전문가를 완전히 삭제하는데, 이는 해당 전문가가 가진 고유한 지식을 영구적으로 손실시킨다는 한계가 있다. 반면 기존 Merging 방식은 유사한 전문가를 합치지만, 라우터가 각 전문가를 얼마나 신뢰하는지에 대한 정보를 무시하고 가중치를 평균 내는 과정에서 오차가 발생한다.

REAM은 전문가의 출력값에 라우터의 확률값(Softmax 결과)을 곱한 'Gated Output'을 기준으로 유사도를 측정한다. 이는 라우터가 특정 전문가를 강하게 선호할 때의 특성을 병합 과정에 반영하여 전문가의 전문성을 보존한다. 또한, 모든 전문가를 골고루 합치는 대신 중요도가 높은 전문가를 '보호된 중심점(Protected Centroids)'으로 설정하고 나머지 전문가들을 여기에 흡수시키는 Pseudo-pruning 전략을 사용한다.

결과적으로 REAM은 전문가 수를 25% 줄인 상태에서도 원본 모델과 거의 대등한 성능을 보여준다. 특히 층별로 병합을 진행할 때마다 변화된 출력값을 다음 층의 입력으로 다시 사용하는 순차적 방식을 채택하여, 압축된 모델이 실제 추론 시 겪게 될 데이터 흐름을 정확히 반영하도록 설계했다.

REAM의 핵심은 네 가지 단계로 구성된다. 첫째, 전문가 유사도 $\delta_{REAM}(i, j)$를 계산한다. 이는 게이트 로짓 유사도 $\delta_g$와 게이트 가중치가 적용된 전문가 출력 유사도 $\tilde{\delta}_E$의 합으로 정의된다. [두 전문가의 출력값과 라우터 확률을 입력으로] → [코사인 유사도 연산을 수행해] → [0~1 사이의 유사도 점수를 얻고] → [이 값이 높을수록 두 전문가가 유사한 역할을 수행함을 의미한다].

둘째, Pseudo-pruning 전략을 적용한다. REAP 점수가 높은 $N'$개의 전문가를 중심점으로 선정하고, 나머지 전문가들을 가장 유사한 중심점에 할당한다. 이때 할당되지 않은 전문가들은 단독 그룹(Singleton)으로 남겨두어 불필요한 병합으로 인한 성능 저하를 방지한다. 셋째, 가중치 정렬 시 활성화 값 기반 비용($C_{act}$)과 가중치 기반 비용($C_{wt}$)을 결합한 혼합 비용 행렬을 사용한다. [뉴런 간의 활성화 거리와 가중치 거리를 입력으로] → [헝가리안 알고리즘(Hungarian Algorithm) 연산을 수행해] → [최적의 뉴런 순열(Permutation)을 얻고] → [병합 전 전문가들의 뉴런 위치를 일치시켜 정보 손실을 최소화한다].

마지막으로 순차적 병합(Sequential Merging)을 수행한다. 한 층의 전문가들을 병합한 직후, 해당 층에 캘리브레이션 데이터를 다시 통과시켜 업데이트된 활성화 통계치를 추출한다. [병합된 층의 출력을 입력으로] → [순방향 연산을 수행해] → [새로운 활성화 텐서를 얻고] → [다음 층 병합 시 최신화된 데이터를 사용하여 오차 누적을 막는다].

Qwen3-30B 및 GLM-4.5-Air 모델을 대상으로 실험한 결과, 25% 전문가 감축 상황에서 REAM은 기존 SOTA 기법인 REAP보다 우수한 성능을 보였다. 특히 Qwen3-30B-Instruct 모델에서 96개 전문가로 압축했을 때, 적절한 데이터 혼합 비율(C4:Math:Code = 0:0.5:0.5) 조건에서 생성(GEN) 벤치마크 평균 69.8점을 기록하여 원본 모델(70.9점)에 근접한 성능을 달성했다.

데이터 혼합 비율에 따른 분석에서는 C4(일반 텍스트) 비율이 높을수록 객관식(MC) 성능이 향상되고, Code 비율이 높을수록 생성(GEN) 성능이 향상되는 뚜렷한 트레이드오프가 관찰되었다. REAM은 다양한 데이터 혼합 조건에서 경쟁 모델들보다 더 넓은 파레토 최전선(Pareto Frontier)을 형성하며 압축 효율의 우수성을 입증했다.

Ablation Study를 통해 각 구성 요소의 기여도를 분석한 결과, 라우터의 Softmax 스케일링을 제거했을 때 성능 하락($\Delta$GEN = -11.5)이 가장 컸으며, 순차적 병합을 적용하지 않았을 때도 유의미한 성능 저하가 발생함을 확인했다. 이는 라우터 정보를 반영한 병합과 층간 오차 보정이 REAM의 핵심 성공 요인임을 시사한다.

REAM은 전문가 병합 시 발생하는 '독립적인 게이트 로짓' 문제를 해결하기 위해 REAP의 방식을 따라 중심점이 아닌 전문가의 게이트 가중치 행을 삭제한다. 이는 병합된 전문가들이 원본 라우터 구조 내에서 불필요한 간섭을 일으키지 않도록 유도한다. 아키텍처 측면에서 REAM은 전문가 간의 representation-level 중복뿐만 아니라 routing-level의 중복을 동시에 고려하는 다각적 접근을 취한다.

구현 세부사항으로, Qwen3-30B 모델 압축 시 약 1.5시간(VRAM 30GB) 정도의 연산 시간이 소요되어 비순차적 방식(1시간) 대비 오버헤드가 크지 않음을 확인했다. 또한 캘리브레이션 데이터의 양이 적은 벤치마크(예: AIME25)에서는 결과의 변동성이 크므로, 더 방대한 데이터셋을 통한 검증이 필요함을 명시하고 있다. 기술적으로는 가중치 정렬 시 데이터 기반 신호와 데이터 독립적 신호를 결합하여 뉴런 매칭의 강건성을 높인 것이 특징이다.

샘플 크기가 작은 벤치마크(예: 30개 문제인 AIME25)에서는 결과의 분산이 커서 모델 간의 정확한 성능 차이를 측정하기 어렵다. 또한 특정 캘리브레이션 데이터 혼합 비율에 따라 특정 작업의 성능이 급격히 하락하는 민감도가 존재한다.