현대 LLM의 어텐션 변체 시각적 가이드: MHA, GQA에서 MLA 및 하이브리드 아키텍처까지

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

대형 언어 모델의 성능과 효율성은 어텐션 메커니즘의 설계에 따라 크게 좌우된다. 기존 Multi-Head Attention(MHA)은 강력한 성능을 제공하지만 긴 문맥 처리 시 KV 캐시 메모리 부담이 기하급수적으로 증가하는 한계가 있다. 이를 해결하기 위해 헤드를 공유하는 Grouped-Query Attention(GQA)과 잠재 표현으로 압축하는 Multi-Head Latent Attention(MLA) 등 다양한 변체가 등장했다. 최신 모델들은 이러한 효율적 어텐션 기법을 하이브리드 구조와 결합하여 성능 저하 없이 추론 비용을 획기적으로 낮추고 있다.

배경

Transformer Architecture, Self-Attention Mechanism, KV Caching Concepts

대상 독자

LLM 아키텍처 설계자 및 추론 최적화 엔지니어

의미 / 영향

어텐션 메커니즘의 진화는 LLM의 추론 비용을 낮추고 컨텍스트 길이를 획기적으로 늘리는 데 기여한다. 특히 MLA와 하이브리드 구조의 확산은 고성능 모델의 대중화를 가속화할 것이다.

섹션별 상세

표준 MHA의 메모리 병목을 해결하기 위해 GQA가 산업 표준으로 자리 잡았다. MHA는 모든 쿼리 헤드가 개별 KV 헤드를 가져 메모리 부담이 크지만, GQA는 여러 쿼리 헤드가 KV 헤드를 공유하도록 설계됐다. Llama 3와 Mistral 등 주요 오픈 소스 모델들이 이를 채택하여 추론 시 KV 캐시 크기를 대폭 줄였다. 이는 모델의 성능을 유지하면서도 더 긴 문맥을 효율적으로 처리할 수 있게 한다.

OLMo 2 (7B) 모델의 전체 아키텍처 다이어그램 — DiagramMHA가 트랜스포머 블록의 중심부에서 어떻게 작동하는지 구성 요소별로 보여준다. 32개의 레이어와 4096 차원의 임베딩 등 구체적인 하이퍼파라미터 수치를 포함한다.

Multi-Head Attention(MHA)과 Grouped-Query Attention(GQA)의 구조 비교도 — DiagramGQA가 여러 개의 쿼리 헤드에 대해 동일한 키와 값 헤드를 공유함으로써 메모리를 절약하는 메커니즘을 시각적으로 대조한다. 헤드 공유를 통한 KV 캐시 감소 원리를 명확히 설명한다.

DeepSeek이 도입한 MLA는 KV 캐시를 잠재 표현으로 압축하여 메모리 효율을 극대화한다. 단순히 헤드를 공유하는 GQA와 달리, MLA는 저장되는 정보 자체를 압축하고 필요할 때 복원하는 방식을 사용한다. 100B 이상의 초대형 모델에서 GQA보다 더 우수한 성능 대비 메모리 효율을 보여줌이 확인됐다. DeepSeek V3와 R1 등 최신 고성능 모델의 핵심 아키텍처로 활용된다.

단일 헤드 셀프 어텐션의 전체 연산 파이프라인 — Diagram입력 임베딩 X로부터 Q, K, V 행렬을 생성하고 소프트맥스를 거쳐 최종 출력 Z를 도출하는 수학적 흐름을 보여준다. 어텐션 행렬 A가 생성되는 내부 과정을 단계별로 도식화했다.

희소 어텐션 기법인 SWA와 DSA는 연산 범위를 제한하여 긴 문맥 추론 비용을 낮춘다. Sliding Window Attention(SWA)은 고정된 로컬 윈도우 내의 토큰만 참조하며, DeepSeek Sparse Attention(DSA)은 학습된 인덱서를 통해 중요한 과거 토큰만 동적으로 선택한다. 이를 통해 전체 시퀀스를 매번 참조하는 연산 낭비를 줄이고 처리 속도를 높인다. Gemma 3와 DeepSeek V3.2 등에서 긴 문맥 대응을 위해 적극적으로 도입됐다.

최신 모델들은 어텐션과 선형 시간 복잡도 모듈을 섞은 하이브리드 아키텍처로 진화하고 있다. Qwen3.5나 Kimi Linear는 모든 층에 어텐션을 쓰는 대신 Gated DeltaNet이나 Lightning Attention 같은 가벼운 모듈을 혼합한다. 3:1 비율로 가벼운 모듈과 무거운 어텐션 층을 배치하여 정확한 정보 검색 능력과 선형적 메모리 증가를 동시에 달성했다. 이는 128k 이상의 초장문 컨텍스트를 처리하는 차세대 LLM의 주요 설계 패턴이다.