섹션별 상세
표준 MHA의 메모리 병목을 해결하기 위해 GQA가 산업 표준으로 자리 잡았다. MHA는 모든 쿼리 헤드가 개별 KV 헤드를 가져 메모리 부담이 크지만, GQA는 여러 쿼리 헤드가 KV 헤드를 공유하도록 설계됐다. Llama 3와 Mistral 등 주요 오픈 소스 모델들이 이를 채택하여 추론 시 KV 캐시 크기를 대폭 줄였다. 이는 모델의 성능을 유지하면서도 더 긴 문맥을 효율적으로 처리할 수 있게 한다.
DeepSeek이 도입한 MLA는 KV 캐시를 잠재 표현으로 압축하여 메모리 효율을 극대화한다. 단순히 헤드를 공유하는 GQA와 달리, MLA는 저장되는 정보 자체를 압축하고 필요할 때 복원하는 방식을 사용한다. 100B 이상의 초대형 모델에서 GQA보다 더 우수한 성능 대비 메모리 효율을 보여줌이 확인됐다. DeepSeek V3와 R1 등 최신 고성능 모델의 핵심 아키텍처로 활용된다.
희소 어텐션 기법인 SWA와 DSA는 연산 범위를 제한하여 긴 문맥 추론 비용을 낮춘다. Sliding Window Attention(SWA)은 고정된 로컬 윈도우 내의 토큰만 참조하며, DeepSeek Sparse Attention(DSA)은 학습된 인덱서를 통해 중요한 과거 토큰만 동적으로 선택한다. 이를 통해 전체 시퀀스를 매번 참조하는 연산 낭비를 줄이고 처리 속도를 높인다. Gemma 3와 DeepSeek V3.2 등에서 긴 문맥 대응을 위해 적극적으로 도입됐다.
최신 모델들은 어텐션과 선형 시간 복잡도 모듈을 섞은 하이브리드 아키텍처로 진화하고 있다. Qwen3.5나 Kimi Linear는 모든 층에 어텐션을 쓰는 대신 Gated DeltaNet이나 Lightning Attention 같은 가벼운 모듈을 혼합한다. 3:1 비율로 가벼운 모듈과 무거운 어텐션 층을 배치하여 정확한 정보 검색 능력과 선형적 메모리 증가를 동시에 달성했다. 이는 128k 이상의 초장문 컨텍스트를 처리하는 차세대 LLM의 주요 설계 패턴이다.
이미지 분석
Infographic
현대 LLM들에 사용된 다양한 어텐션 및 모델 구조를 한눈에 비교할 수 있는 시각적 카드 모음이다. 각 모델의 특징적인 어텐션 변체들을 분류하여 아티클의 전체 맥락을 제공한다.
45개 이상의 LLM 아키텍처를 정리한 갤러리 오버뷰
용어 해설
- KV 캐시(KV Cache)
- — LLM 추론 시 이전 토큰들의 Key와 Value 벡터를 메모리에 저장해두는 기술이다. 매번 처음부터 계산하는 낭비를 줄여 생성 속도를 비약적으로 높인다. 긴 문맥을 다룰 때 메모리 점유율이 급격히 증가하는 특성이 있어 최적화의 주 대상이 된다.
- 그룹 쿼리 어텐션(GQA)
- — 여러 개의 쿼리 헤드가 하나의 키-값 헤드 쌍을 공유하는 어텐션 방식이다. 표준 MHA보다 메모리 사용량을 크게 줄이면서도 모델 성능 저하는 최소화한다. Llama 3와 같은 최신 오픈 소스 모델들이 추론 효율성을 위해 채택하는 표준 기법이다.
- 인과적 마스킹(Causal Masking)
- — 언어 모델이 학습이나 추론 시 현재 위치 이후의 미래 토큰 정보를 보지 못하게 차단하는 기법이다. 어텐션 행렬의 상삼각형 부분을 마스킹 처리하여 모델이 이전 토큰들만 참조하도록 강제한다. 이를 통해 모델이 다음 단어를 예측하는 자기회귀적 특성을 유지하게 한다.
기술
- Llama 3
- DeepSeek V3
- Qwen3.5
- GQA
- MLA
- Mamba-2
활용 사례
- Long-context RAG
- Efficient LLM Inference
- AI Agent Systems
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 22.수집 2026. 03. 23.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
