LLM 아키텍처 갤러리: GPT-2부터 최신 MoE 및 하이브리드 모델까지의 진화

섹션별 상세

01

GPT-2 XL(1.5B)은 2019년의 표준적인 Dense 디코더 스택으로, 절대적 위치 임베딩과 Multi-Head Attention(MHA), GELU 활성화 함수를 사용하는 초기 LLM의 기준점이다.

GPT-2 XL(1.5B) 모델의 상세 아키텍처 다이어그램이다. — Diagram2019년 기준의 표준적인 Dense 디코더 아키텍처를 보여준다. 절대적 위치 임베딩과 MHA를 사용하는 초기 LLM의 전형적인 구조를 확인할 수 있다.

02

Llama 3 및 3.2 시리즈는 Grouped-Query Attention(GQA)과 RoPE를 도입하여 메모리 대역폭 효율을 높였으며, 특히 1B 모델에서도 128k 토큰의 긴 컨텍스트를 지원하는 구조적 최적화를 달성했다.

Llama 3 8B 모델의 상세 아키텍처 다이어그램이다. — DiagramGQA와 RoPE가 적용된 현대적인 Dense 모델 구조를 보여준다. GPT-2와 대비하여 RMSNorm과 SwiGLU 활성화 함수가 도입된 변화를 확인할 수 있다.

Llama 3.2 1B 모델의 상세 아키텍처 다이어그램이다. — Diagram초경량 모델임에도 128k의 긴 컨텍스트를 지원하기 위한 GQA 구조를 상세히 보여준다. 레이어 수와 임베딩 차원을 줄여 효율성을 극대화한 설계를 확인할 수 있다.

03

DeepSeek V3와 R1은 671B라는 거대 규모를 효율적으로 운영하기 위해 Multi-head Latent Attention(MLA)과 Sparse MoE를 결합했으며, 공유 전문가(Shared Expert)를 통해 추론 성능을 극대화했다.

04

Gemma 3(27B)와 OLMo 2(7B)는 QK-Norm과 Sliding Window Attention(SWA)을 적극적으로 활용하여 학습 안정성을 확보하고 긴 문맥 처리 시의 계산 복잡도를 관리한다.

OLMo 2 7B 모델의 상세 아키텍처 다이어그램이다. — DiagramAllen AI의 투명한 모델 구조를 보여주며, 특히 QK-Norm과 Post-norm 방식을 채택하여 학습 안정성을 꾀한 독특한 설계를 시각화한다.

05

NVIDIA의 Nemotron 3 시리즈는 Mamba-2와 GQA를 결합한 하이브리드 MoE 구조를 채택하여 백만 토큰 이상의 초장문 컨텍스트에서도 선형적인 계산 효율성을 유지한다.

06

2026년 최신 모델인 Qwen3.5와 Ling 2.5는 Gated DeltaNet과 Lightning Attention 같은 차세대 선형 어텐션 기법을 도입하여 기존 Transformer 아키텍처의 한계를 돌파했다.

이미지 분석

Infographic
갤러리에 포함된 다양한 LLM 아키텍처 도표들을 한눈에 보여주는 요약 이미지이다. 각 모델의 구조적 차이와 진화 과정을 시각적으로 비교할 수 있는 시작점 역할을 한다.
LLM 아키텍처 갤러리에 포함된 주요 모델들의 구조도를 모아놓은 요약 이미지이다.

용어 해설

전문가 혼합(Mixture of Experts): — 모델 전체 파라미터 중 입력 토큰에 적합한 일부 전문가 네트워크만 활성화하여 계산 효율을 높이는 아키텍처이다. 거대 모델의 추론 비용을 획기적으로 절감하면서도 높은 성능을 유지할 수 있게 해주는 현대 LLM의 핵심 기술이다.
멀티헤드 잠재 어텐션(Multi-head Latent Attention): — DeepSeek이 도입한 기법으로 Key-Value 벡터를 저차원 잠재 공간으로 압축하여 추론 시 메모리 사용량을 줄이는 효율적인 어텐션 메커니즘이다. 성능 저하 없이 KV 캐시 용량을 획기적으로 절약하여 긴 컨텍스트 처리에 유리하다.
그룹 쿼리 어텐션(Grouped-Query Attention): — 여러 쿼리 헤드가 하나의 Key-Value 헤드 쌍을 공유하여 메모리 대역폭을 절약하고 추론 속도를 높이는 기법이다. MHA와 MQA의 장점을 결합한 형태로, 현대 LLM에서 추론 효율성을 확보하기 위해 가장 널리 사용되는 표준 기술이다.
QK 정규화(QK-Norm): — 어텐션 계산 전 Query와 Key 벡터에 LayerNorm을 적용하여 학습 중 발생하는 어텐션 로짓의 발산을 방지하는 기법이다. 대규모 모델 학습 시 발생하는 수치적 불안정성을 해결하여 학습의 안정성과 수렴 속도를 개선하는 역할을 한다.
슬라이딩 윈도우 어텐션(Sliding Window Attention): — 모든 토큰 대신 고정된 크기의 윈도우 내 토큰들만 참조하여 계산 복잡도를 선형적으로 유지하는 기법이다. 이를 통해 메모리 사용량을 제한하면서도 긴 컨텍스트를 효율적으로 처리할 수 있어 소형 모델부터 대형 모델까지 널리 적용된다.

기술

DeepSeek V3
Llama 3
Qwen3
Mamba-2
MLA
GQA

활용 사례

대규모 언어 모델 추론 최적화
초장문 컨텍스트 처리 시스템 구축
효율적인 MoE 모델 설계

언급된 리소스

문서The Big LLM Architecture Comparison