[R] CS-MoE: 트랜스포머의 심각한 파라미터 중복을 발견하고 레이어 간 전문가 공유로 해결 (55% 활성화로 Dense 모델 능가)

작성자가 직접 연구 결과를 공유한 게시물로, 레이어 간 파라미터 중복이라는 고질적 문제를 아키텍처 수준에서 해결했다는 점에 대해 긍정적인 반응을 얻고 있다.

• 모델 설계 시 레이어 간 독립성에 집착하기보다 기능적 중복을 활용한 파라미터 공유 전략을 고려하라.
• 제한된 하드웨어 자원에서 모델 성능을 극대화해야 한다면 CS-MoE와 같은 공유 전문가 구조가 대안이 될 수 있다.

전문가 혼합(Mixture-of-Experts)

— 입력 토큰마다 전체 파라미터 중 일부(전문가)만 선택적으로 활성화하여 연산 효율을 극대화하는 신경망 구조이다. Sparse activation을 통해 고정된 연산량으로 모델의 전체 파라미터 규모를 크게 확장할 수 있어 대규모 언어 모델의 핵심 기술로 자리 잡았다.

파라미터 중복성(Parameter Redundancy)

— 딥러닝 모델의 서로 다른 레이어나 유닛이 동일하거나 매우 유사한 기능을 중복해서 학습하여 발생하는 비효율성이다. 본 아키텍처에서는 서로 다른 레이어의 FFN이 유사한 변환을 수행하는 현상을 지적하며, 이를 해결함으로써 모델의 실질적 용량을 높이고자 한다.

중심 커널 정렬(Centered Kernel Alignment)

— 서로 다른 신경망 레이어의 활성화 패턴 간 유사도를 측정하는 통계적 방법론이다. 레이어 간의 기능적 유사성을 수치화하여 파라미터 중복 여부를 판단하는 근거로 활용되며, 본 연구에서 레이어 간 전문가 공유의 필요성을 입증하는 도구로 사용됐다.

퍼플렉서티(Perplexity)

— 언어 모델이 다음 단어를 예측할 때 느끼는 불확실성을 나타내는 지표로, 수치가 낮을수록 모델의 예측 성능이 정확함을 의미한다. 확률 분포의 엔트로피를 기반으로 계산되며, 모델의 학습 진행 상황과 최종 성능을 비교하는 핵심 벤치마크 지표이다.

전문가 활용 비율(Expert Utilization Ratio)

— 네트워크 전체에서 실제로 활성화되어 사용된 고유한 공유 전문가의 비율을 나타내는 지표이다. 이 수치가 높을수록 레이어 간에 전문가가 중복 없이 효율적으로 재사용되고 있음을 의미하며, 모델의 확장 효율성을 평가하는 척도가 된다.