2026년 봄 오픈 가중치 LLM의 향연: 10가지 주요 아키텍처 분석

섹션별 상세

01

Arcee AI의 Trinity Large(400B)는 13B 활성 파라미터를 가진 MoE 모델로, Sliding Window Attention(SWA)과 Global Attention을 3:1 비율로 혼합하여 256k 토큰의 긴 컨텍스트를 지원한다. 특히 어텐션 결과에 시그모이드 게이팅을 적용하는 Gated Attention과 QK-Norm을 통해 학습 안정성과 일반화 성능을 높였다.

python

def attn_trinity(x, Wq, Wk, Wv, Wo, Wg, *, h):
    B, T, D = x.shape
    dh = D // h
    q = (x @ Wq.T).view(B, T, h, dh).transpose(1, 2)
    k = (x @ Wk.T).view(B, T, h, dh).transpose(1, 2)
    v = (x @ Wv.T).view(B, T, h, dh).transpose(1, 2)

    q = rmsnorm(q)  # QK-Norm
    k = rmsnorm(k)

    o = sdpa(q, k, v) # standard scaled dot product attention

    ### Gating ###
    g = torch.sigmoid(x @ Wg.T).view(B, T, h, dh).transpose(1, 2)
    o = o * g  # Elementwise gate AFTER attention before Wo output projection
    ##############

    return (o.transpose(1, 2).reshape(B, T, D)) @ Wo.T

Trinity Large 모델에서 사용된 QK-Norm 및 Gated Attention 메커니즘의 구현 예시

Arcee AI Trinity Large (400B) 모델의 전체 아키텍처 다이어그램 — DiagramMoE 레이어, GQA와 SWA가 혼합된 어텐션 구조, QK-Norm 및 Gated Attention의 위치를 상세히 보여준다. 400B 모델임에도 13B의 활성 파라미터만 사용하며 256k 컨텍스트를 지원하는 구조적 특징을 설명한다.

일반적인 인과적 자기 어텐션 마스크와 슬라이딩 윈도우 어텐션(SWA) 마스크의 비교 — ChartSWA가 현재 토큰으로부터 일정 범위(윈도우) 내의 과거 토큰들만 참조하여 연산량을 줄이는 방식을 시각적으로 대조한다. 이는 긴 시퀀스 처리 시 메모리 효율성을 높이는 핵심 원리를 보여준다.

Trinity Large에서 사용된 Gated Attention 메커니즘의 Python 코드 구현 — Screenshot표준 Scaled Dot-Product Attention 이후에 시그모이드 게이팅을 적용하는 과정을 코드로 명시한다. QK-Norm 적용 위치와 출력 프로젝션 전의 요소별 게이팅 처리가 학습 안정성에 기여함을 나타낸다.

02

Moonshot AI의 Kimi K2.5는 1조 파라미터 규모의 대형 모델로, DeepSeek V3 아키텍처를 기반으로 확장되었다. 15조 개의 텍스트 및 시각 토큰을 사용한 초기 융합(Early Fusion) 방식을 통해 강력한 멀티모달 능력을 확보했으며, 기존 폐쇄형 플래그십 모델들과 대등한 벤치마크 성능을 기록했다.

03

Step 3.5 Flash는 196B 파라미터 MoE 모델임에도 불구하고 Multi-Token Prediction(MTP-3)을 학습과 추론 모두에 적용하여 초당 100 토큰의 높은 처리량을 달성했다. 이는 DeepSeek V3.2보다 3배 이상 빠른 속도로, 효율적인 추론이 필요한 실전 환경에 최적화된 설계를 보여준다.

04

Qwen3-Coder-Next와 Qwen3.5는 Gated DeltaNet과 Gated Attention을 결합한 하이브리드 어텐션 구조를 채택했다. 이는 표준 어텐션의 이차 복잡도 문제를 해결하기 위해 선형 시간 복잡도를 가진 DeltaNet 블록을 3:1 비율로 섞어 사용함으로써 메모리 효율성을 극대화하고 262k 토큰 처리를 가능하게 했다.

05

z.AI의 GLM-5는 744B 파라미터로 크기를 키우면서 DeepSeek의 MLA와 Sparse Attention 메커니즘을 전면 도입했다. 이를 통해 이전 모델인 GLM-4.7 대비 성능을 대폭 향상시켜 GPT-5.2나 Claude 4.6 Opus와 같은 최상위 폐쇄형 모델들과 경쟁 가능한 수준에 도달했다.

06

Cohere의 Tiny Aya(3.35B)는 소형 모델임에도 불구하고 병렬 트랜스포머 블록(Parallel Transformer Block)을 사용하여 어텐션과 MLP 연산을 동시에 수행함으로써 연산 처리량을 개선했다. 또한 QK-Norm이 긴 컨텍스트 성능에 미치는 영향을 고려하여 이를 제거하는 등 소형 모델 특화 최적화를 진행했다.

07

인도의 Sarvam 모델(30B, 105B)은 인도어 특화 토크나이저를 통해 인도어 텍스트 처리 효율을 4배 높였으며, 105B 모델에는 MLA를 적용하여 KV 캐시 효율을 확보했다. 커널 최적화를 통해 Qwen3 대비 20-40% 높은 토큰 처리 속도를 보여주며 지역 특화 모델의 경쟁력을 증명했다.

용어 해설

전문가 혼합 모델(Mixture-of-Experts): — 전체 파라미터 중 입력 토큰마다 일부 전문가(Expert) 네트워크만 활성화하여 연산 효율성을 극대화하는 아키텍처이다. 모델 크기를 키우면서도 추론 시 활성 파라미터 수를 낮게 유지할 수 있어 대규모 언어 모델의 핵심 기술로 자리 잡았다.
멀티헤드 잠재 어텐션(Multi-head Latent Attention): — DeepSeek V2에서 도입된 기법으로, KV 캐시를 압축하여 메모리 사용량을 획기적으로 줄이면서도 성능 저하를 최소화하는 어텐션 방식이다. 긴 컨텍스트 처리 시 발생하는 메모리 병목 현상을 해결하는 데 매우 효과적이다.
슬라이딩 윈도우 어텐션(Sliding Window Attention): — 모든 토큰이 아닌 고정된 크기의 최근 토큰들만 참조하는 희소 어텐션 패턴이다. 연산 복잡도를 시퀀스 길이의 제곱에서 선형 수준으로 낮추어 256k 이상의 초장문 컨텍스트를 효율적으로 처리할 수 있게 한다.
다중 토큰 예측(Multi-Token Prediction): — 다음 토큰 하나만 예측하는 대신 여러 개의 미래 토큰을 동시에 예측하도록 모델을 학습시키는 기법이다. 학습 신호를 강화하여 성능을 높일 뿐만 아니라, 추론 시 여러 토큰을 한 번에 생성하여 처리량을 높이는 데 기여한다.
쿼리-키 정규화(QK-Norm): — 어텐션 연산 전 Query와 Key 행렬에 RMSNorm을 적용하여 수치적 안정성을 확보하는 기술이다. 대규모 모델 학습 시 발생하는 손실 스파이크(Loss Spike)를 방지하고 학습 수렴을 돕는 역할을 한다.