LLM 아키텍처 갤러리: GPT-2부터 최신 MoE 및 하이브리드 모델까지의 진화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

이 아티클은 2019년 GPT-2부터 2026년 최신 모델까지 주요 대형 언어 모델(LLM)의 아키텍처 변화를 시각적인 도표와 함께 정리한 기술 갤러리이다. 초기 Dense 모델에서 시작하여 Mixture of Experts(MoE), Multi-head Latent Attention(MLA), 그리고 Mamba-2와 같은 상태 공간 모델(SSM) 하이브리드에 이르기까지의 기술적 진화를 다룬다. 각 모델별로 파라미터 규모, 컨텍스트 길이, 어텐션 메커니즘, 정규화 방식 등 핵심 기술 사양을 상세히 비교 분석한다. 이를 통해 현대 LLM 설계의 트렌드인 효율적인 추론과 긴 컨텍스트 처리 기법의 발전 과정을 명확히 파악할 수 있다.

배경

Transformer 아키텍처에 대한 기본 이해, Attention 메커니즘(MHA, GQA) 지식, MoE(Mixture of Experts) 개념

대상 독자

LLM 아키텍처 설계자 및 모델 효율화 연구원

의미 / 영향

LLM 설계가 단순 규모 확장에서 벗어나 MLA, MoE, 하이브리드 구조를 통한 효율성 극대화로 이동하고 있음을 보여준다. 특히 2026년 모델들은 Transformer의 한계를 넘기 위해 SSM과 Linear Attention을 적극 도입하고 있다.

섹션별 상세

GPT-2 XL(1.5B)은 2019년의 표준적인 Dense 디코더 스택으로, 절대적 위치 임베딩과 Multi-Head Attention(MHA), GELU 활성화 함수를 사용하는 초기 LLM의 기준점이다.

GPT-2 XL(1.5B) 모델의 상세 아키텍처 다이어그램이다. — Diagram2019년 기준의 표준적인 Dense 디코더 아키텍처를 보여준다. 절대적 위치 임베딩과 MHA를 사용하는 초기 LLM의 전형적인 구조를 확인할 수 있다.

Llama 3 및 3.2 시리즈는 Grouped-Query Attention(GQA)과 RoPE를 도입하여 메모리 대역폭 효율을 높였으며, 특히 1B 모델에서도 128k 토큰의 긴 컨텍스트를 지원하는 구조적 최적화를 달성했다.

Llama 3 8B 모델의 상세 아키텍처 다이어그램이다. — DiagramGQA와 RoPE가 적용된 현대적인 Dense 모델 구조를 보여준다. GPT-2와 대비하여 RMSNorm과 SwiGLU 활성화 함수가 도입된 변화를 확인할 수 있다.

Llama 3.2 1B 모델의 상세 아키텍처 다이어그램이다. — Diagram초경량 모델임에도 128k의 긴 컨텍스트를 지원하기 위한 GQA 구조를 상세히 보여준다. 레이어 수와 임베딩 차원을 줄여 효율성을 극대화한 설계를 확인할 수 있다.

DeepSeek V3와 R1은 671B라는 거대 규모를 효율적으로 운영하기 위해 Multi-head Latent Attention(MLA)과 Sparse MoE를 결합했으며, 공유 전문가(Shared Expert)를 통해 추론 성능을 극대화했다.

Gemma 3(27B)와 OLMo 2(7B)는 QK-Norm과 Sliding Window Attention(SWA)을 적극적으로 활용하여 학습 안정성을 확보하고 긴 문맥 처리 시의 계산 복잡도를 관리한다.

OLMo 2 7B 모델의 상세 아키텍처 다이어그램이다. — DiagramAllen AI의 투명한 모델 구조를 보여주며, 특히 QK-Norm과 Post-norm 방식을 채택하여 학습 안정성을 꾀한 독특한 설계를 시각화한다.

NVIDIA의 Nemotron 3 시리즈는 Mamba-2와 GQA를 결합한 하이브리드 MoE 구조를 채택하여 백만 토큰 이상의 초장문 컨텍스트에서도 선형적인 계산 효율성을 유지한다.

2026년 최신 모델인 Qwen3.5와 Ling 2.5는 Gated DeltaNet과 Lightning Attention 같은 차세대 선형 어텐션 기법을 도입하여 기존 Transformer 아키텍처의 한계를 돌파했다.

이미지 분석

Infographic
갤러리에 포함된 다양한 LLM 아키텍처 도표들을 한눈에 보여주는 요약 이미지이다. 각 모델의 구조적 차이와 진화 과정을 시각적으로 비교할 수 있는 시작점 역할을 한다.
LLM 아키텍처 갤러리에 포함된 주요 모델들의 구조도를 모아놓은 요약 이미지이다.

실무 Takeaway

거대 모델의 실용성을 위해 MLA와 Sparse MoE를 결합하여 활성 파라미터 수를 전체의 10% 미만으로 유지하면서도 성능을 보존하는 설계가 표준으로 자리 잡았다.
초장문 컨텍스트 대응을 위해 단순 Attention 대신 Sliding Window Attention(SWA)과 SSM(Mamba-2) 하이브리드 구조를 채택하여 추론 속도와 메모리 효율을 동시에 개선했다.
학습 안정성을 위해 QK-Norm과 같은 정규화 기법이 필수적으로 도입되고 있으며, 이는 모델 규모가 커질수록 발생하는 수치적 불안정성을 해결하는 핵심 요소이다.

언급된 리소스

문서The Big LLM Architecture Comparison