314B MoE 언어 모델 Motif 3의 구조와 학습 시스템

Motif 3는 전체 314B 파라미터 중 토큰마다 약 13.2B만 활성화하는 Sparse Mixture-of-Experts 언어 모델로, 대규모 Expert 용량과 제한된 토큰별 계산을 함께 추구합니다. GDLA는 Differential Attention의 Noise 억제와 MLA의 압축 KV 표현을 결합하고, MXFP8 연산·통신과 256K Context Parallelism을 통해 대규모 학습 및 긴 문맥 처리를 지원합니다. 통제된 약 10B 파라미터 비교에서 GDLA는 MLA보다 9.2% 적은 Training Token으로 Loss 3.2에 도달했습니다.

일반적인 Self-Attention은 현재 토큰의 Query와 과거 토큰의 Key·Value를 비교해 문맥을 집계하지만, 관련 없는 문맥에도 Attention 확률을 배분할 수 있습니다. Differential Attention은 같은 입력에서 Signal 경로와 Noise 경로의 Attention 분포를 각각 계산한 뒤 Noise 성분을 빼서 공통으로 나타나는 패턴을 억제합니다. 동시에 MLA처럼 Key·Value 상태를 압축된 저차원 표현으로 저장하면 Autoregressive 추론에서 토큰마다 유지하는 KV cache를 줄일 수 있습니다.

GDLA는 이 두 아이디어를 결합하면서 Signal Head를 Noise Head보다 많이 둡니다. 총 Query Head가 80개이고 그룹 비율이 4이므로 Signal Head 64개와 Noise Head 16개를 구성하며, 각 Noise Head 출력을 네 개의 대응 Signal Head에 반복합니다. 토큰별 계수 $[1m\boldsymbol{\lambda}_{t}\u001b[0m=\sigma(\mathbf{x}_{t}\mathbf{W}^{\lambda})$를 0과 1 사이로 제한한 뒤 Signal 출력에서 계수화한 Noise 출력을 빼므로 Noise를 억제하되 반전하거나 증폭하지 않습니다.

MoE에서는 모든 Expert를 매 토큰에 실행하지 않고 Router가 384개 Routed Expert 중 8개를 선택합니다. 입력 토큰이 Router를 거쳐 선택된 Expert로 전달되고, 각 Expert가 변환한 결과를 Routing Weight와 함께 결합해 다음 Transformer Block으로 보내므로 전체 파라미터는 약 314B로 유지하면서 토큰별 활성화 규모는 약 13.2B에 머뭅니다. Expert별 PolyNorm은 Routed Token 분포에 맞춰 서로 다른 Polynomial 계수와 Bias를 학습해 동일한 SiLU 반응을 강제하지 않습니다.

이런 구조를 실제 규모로 학습하려면 Expert Overload, Activation Outlier, 긴 문맥의 메모리와 통신이 병목이 됩니다. Motif 3는 Router Noise를 초기에 크게 넣고 Cosine 방식으로 줄여 Expert 탐색을 유도하며, mHC Post-Mapping 배율을 2에서 1로 낮춰 Residual Stream의 반복 증폭을 제한합니다. 또한 MXFP8 Grouped GEMM, 선택적 Activation Recomputation, 256K Context Parallelism을 입력·계산·통신 경로에 배치해 학습 시스템의 메모리 사용과 통신량을 관리합니다.

Motif 3는 53개 Transformer Layer로 구성된 Decoder-only Autoregressive MoE 모델입니다. 처음 2개 Layer는 Hidden Dimension 4,096과 FFN Dimension 12,288을 사용하는 Dense Block이고, 나머지 51개 Layer는 Routed Expert 384개와 Shared Expert 1개를 포함하는 Sparse MoE Block입니다. Attention은 GDLA를 사용하며 Full Causal Attention 1개 뒤에 Sliding-window Attention 3개를 반복하는 Hybrid Schedule과 최대 262,144 Token 문맥을 채택합니다.

GDLA의 Query 경로는 $[1m\mathbf{c}^{Q}_{t}=\operatorname{RMSNorm}(\mathbf{x}_{t}\mathbf{W}^{Q}_{a})[0m$로 입력 Hidden State를 압축한 뒤 Content Query와 Rotary Query로 확장합니다. KV 경로는 $[1m[\mathbf{c}^{KV}_{t};\mathbf{k}^{R}_{t}]=\mathbf{x}_{t}\mathbf{W}^{KV}_{a}[0m$로 Compressed KV와 Decoupled Rotary Key를 만들고, Compressed KV를 한 번 RMSNorm한 뒤 16개 KV Head로 확장합니다. 두 Attention 경로가 같은 KV Head를 공유하면서 각각 Attention을 계산하고, $[1m\mathbf{D}_{t}=\mathbf{H}_{S,t}-\boldsymbol{\lambda}_{t}\odot\operatorname{Repeat}_{g}(\mathbf{H}_{N,t})[0m$로 Noise를 감산한 다음 Query 기반 Element-wise Gate와 Output Projection을 적용합니다.

Residual 연결은 4개의 병렬 Stream을 사용하는 수정된 mHC로 대체합니다. Pre-Mapping은 Sigmoid로 계산하고 Residual Mapping은 Sinkhorn-Knopp Normalization으로 Birkhoff Polytope에 투영해 음이 아닌 Doubly Stochastic Matrix를 만듭니다. Post-Mapping은 초기에는 $2\sigma(\mathbf{Z}_{post})$로 시작하지만 Pretraining 중 배율을 2에서 1로 낮춰 Sublayer 출력이 깊은 Layer를 지나며 반복 증폭되는 현상을 완화합니다.

Expert 내부에서는 SiLU Gate 대신 Expert-Specific PolyNorm을 사용합니다. 입력 $[1m\mathbf{z}[0m$의 각 원소에 1차부터 3차까지의 Polynomial을 적용하고 각 성분을 RMS로 정규화한 뒤 Expert별 계수와 Bias를 합산하며, 계수는 Sigmoid로 0과 1 사이에 두고 Bias는 -0.5와 0.5 사이로 Clip합니다. 학습 시스템은 Expert Parallelism 8과 Data Parallel Sharding을 계층적으로 배치하고, Expert Weight와 Activation을 MXFP8으로 처리하며, FP32 Master Weight·Main Gradient·Router Logit·Muon State를 고정밀도로 유지합니다.

약 10B 파라미터 규모의 통제 실험에서 GDLA의 Training Loss 곡선은 GDA와 MLA보다 낮게 유지됐습니다. GDLA는 MLA가 Loss 3.2에 도달하는 지점보다 9.2% 적은 Training Token으로 같은 Loss 3.2에 도달했습니다. 이 비교는 세 Attention 구조의 차이를 분리한 통제 조건에서 측정됐습니다.

Expert-Specific PolyNorm은 측정된 Layer 전반에서 SwiGLU보다 높은 Expert Gate Weight Effective Rank를 유지했습니다. Effective Rank는 Singular-value Energy가 여러 방향에 얼마나 고르게 분포하는지 나타내며, 측정된 Gate Matrix의 Rank가 512이므로 가능한 최대 Effective Rank도 512입니다. 따라서 PolyNorm 조건에서는 Gate Transformation이 더 넓은 활성 방향을 유지하는 패턴이 관찰됐습니다.

Decaying Router Noise를 적용한 조건에서는 Expert별 최대 Token Load가 Baseline보다 더 이른 시점에 Median-load 영역으로 내려왔습니다. 초기 Gaussian Noise가 Router 선택을 흔들어 더 많은 Expert가 Training Token을 받고, Noise를 점차 제거하면서 안정된 Routing 분포를 유지하는 순서입니다. 본문은 이 효과가 Pretraining 초기 단계에 집중된다고 기술합니다.

Motif 3는 약 12.5T Token으로 Pretraining됐고, 지식 Cutoff는 2026년 3월입니다. Tokenizer 비교 Probe에서 Motif Tokenizer는 English 5.68, Korean 5.31, Code 4.07, Mathematics 4.55 Bytes per Token으로 해당 Partition의 가장 높은 압축 수치를 기록했으며, 더 높은 Bytes per Token은 같은 텍스트를 더 적은 Token으로 표현한다는 뜻입니다. Post-training 이후 평가는 Long-horizon Agentic Task, Mathematical Reasoning, Scientific Knowledge, Hallucination-sensitive Evaluation 등에서 주요 Open-weight Model과 경쟁력 있는 결과를 기록했다고 본문에 적혀 있습니다.

GDLA는 80 Query Head와 16 KV Head를 사용하며, 그중 Signal Query Head는 64개, Noise Query Head는 16개입니다. Query-Key Head Dimension은 192, Value Head Dimension은 128, Rotary Component는 64이며 Query·KV Low-rank Dimension은 각각 1,024와 512입니다. KV 경로는 Compressed KV를 16개 KV Head로 한 번 확장하고 Rotary Key를 모든 KV Head에 공유하므로 Signal·Noise 경로를 위해 별도 KV State를 유지하지 않습니다.

Grouped Differential Attention의 그룹 비율은 $g=4$이고 전체 Query Head 수를 $n_H$라고 할 때 Noise Head 수는 $n_N=n_H/(g+1)$, Signal Head 수는 $n_S=gn_N$으로 정합니다. 각 Signal Head는 같은 그룹의 Noise Head 출력과 짝을 이루며, 입력 Hidden State에서 계산한 $[1m\boldsymbol{\lambda}_{t}\u001b[0m$가 감산 크기를 조절합니다. Sigmoid 출력이 0과 1 사이이므로 $[1m\mathbf{D}_{t}[0m$는 Signal Attention을 유지하면서 Noise Attention을 부분적으로 제거하는 방향으로만 변합니다.

MoE 학습에서는 Activation을 Expert Dispatch 이전에 한 번 MXFP8으로 양자화합니다. 이 순서로 인해 Dispatch 통신도 MXFP8을 사용하고, Top-k가 8일 때 Expert별로 따로 양자화하는 방식보다 양자화 비용이 8분의 1로 줄어듭니다. Gradient Synchronization은 BF16 Shard를 전송한 뒤 각 Rank에서 FP32로 합산하며, Row-wise MXFP8 Weight만 All-Gather하고 Column-wise Weight는 Fused Row-to-Column Transcode로 로컬 생성합니다.

256K Token 학습에서는 Full Attention의 계산량이 $[1m\Theta(L^{2})[0m$, Sliding-window Attention의 계산량이 $[1m\Theta(LW)[0m$이므로 두 경로에 같은 Context Parallel Algorithm을 적용하지 않습니다. Full Attention에는 Head와 Sequence Dimension을 All-to-All로 전치하는 Ulysses를 적용하고, Sliding-window Layer에는 인접 Rank에서 Window 길이 $W$만 Halo Exchange하는 Window-aware Ring Attention을 적용합니다. $W=128$인 설정에서 Window-aware Ring의 Rank-average 수신 KV Volume은 $[1m\Theta(L)\u001b[0m$에서 $[1m\Theta(W)\u001b[0m$로 낮아지고, 본문은 분석상 1,024배의 감소를 제시합니다.