본문으로 건너뛰기
AI Frontier Korea (노정석)조회 1회

LLM 추론 엔지니어링과 AI 반도체 최적화 기법 심화 강의

LLM 추론의 prefill-decode 단계별 특성과 KV cache 관리, 하드웨어 아키텍처 최적화 기법을 총망라하여 AI 인프라의 경제성과 효율성을 분석한 기술 강의이다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이 영상은 LLM 추론의 핵심 병목인 memory-bound 문제를 해결하기 위한 하드웨어 및 소프트웨어 최적화 전략을 심도 있게 다룹니다. Prefill과 decode의 연산 특성 차이를 arithmetic intensity와 roofline analysis로 분석하고, KV cache 용량 폭증을 해결하기 위한 PagedAttention, GQA, MLA 등의 기법을 상세히 설명합니다. HyperAccel의 LPDDR 기반 Bertha 칩과 prefill-decode disaggregation 아키텍처를 통해 저비용·고효율 추론 인프라의 미래를 제시하며, 특히 agentic AI 시대에 대응하는 새로운 워크로드 관리 방안과 heterogeneous computing의 부상을 강조합니다.

챕터별 상세

00:00

AI 인프라 시장의 변화와 HyperAccel Bertha 칩

AI 산업의 가치 포착 지점이 모델에서 인프라와 애플리케이션 레이어로 이동하고 있다. HyperAccel은 고가의 HBM 대신 저전력 LPDDR 메모리를 탑재한 AI 반도체 Bertha를 개발하여 비용 효율적인 추론 솔루션을 제시했다. Bertha는 삼성 4nm 공정으로 제작되었으며, LPDDR로도 90% 이상의 대역폭 효율을 달성하는 독자적인 아키텍처를 통해 5천 달러라는 파격적인 가격 경쟁력을 목표로 한다. 이는 폭발적으로 증가하는 토큰 수요와 컴퓨팅 부족 문제를 해결하기 위한 전략적 선택이다.

Bertha는 LLM 추론에 특화된 LPU(Language Processing Unit)로 분류되며, 기존 GPU 대비 전성비와 가성비를 극대화한 하드웨어이다.

15:01

LLM 추론의 핵심 단계: Prefill과 Decode

LLM 추론 과정은 입력 프롬프트를 한꺼번에 처리하는 prefill 단계와 다음 토큰을 하나씩 생성하는 decode 단계로 명확히 구분된다. Prefill은 병렬 연산이 가능하여 하드웨어의 연산 자원을 최대한 활용할 수 있는 compute-bound 특성을 띠지만, decode는 이전 결과에 의존하는 순차적 특성 때문에 메모리 대역폭이 성능을 제한하는 memory-bound 상태가 된다. 이 두 단계의 연산 성격이 근본적으로 다르기 때문에 이를 효율적으로 스케줄링하고 자원을 배분하는 것이 추론 엔지니어링의 핵심이다.

Auto-regressive 모델인 LLM은 다음 단어를 예측할 때 앞서 생성된 모든 단어를 다시 참조해야 하므로 decode 단계가 상대적으로 비효율적이다.

26:32

KV cache 용량 폭증 문제와 최적화 기법

Decode 단계에서 연산 중복을 피하기 위해 사용하는 KV cache는 컨텍스트가 길어질수록 막대한 메모리 용량을 요구한다. Llama 3.1 70B 모델의 경우 128K 컨텍스트를 처리할 때 사용자당 약 40GB의 KV cache가 생성되어 하드웨어 메모리 한계를 초과하게 된다. 이를 해결하기 위해 쿼리 헤드를 묶어 캐시 크기를 줄이는 GQA(Grouped Query Attention)나 잠재 벡터로 압축하는 MLA(Multi-head Latent Attention) 기법이 도입되었다. 또한 KV cache 자체를 4비트나 8비트로 양자화하여 메모리 점유율을 낮추는 방식이 실제 서비스에서 널리 사용되고 있다.

GQA는 여러 개의 Query가 하나의 Key-Value 쌍을 공유하게 함으로써 성능 저하를 최소화하면서 메모리 사용량을 획기적으로 줄이는 기술이다.

37:48

Roofline Analysis를 통한 성능 병목 분석

추론 성능의 물리적 한계는 하드웨어의 연산 성능과 메모리 대역폭 사이의 균형점인 ridge point에 의해 결정된다. Roofline analysis 그래프에서 알고리즘의 산술 강도가 ridge point보다 낮으면 메모리 대역폭이 병목인 memory-bound 영역에 속하게 된다. LLM의 decode 단계는 산술 강도가 매우 낮아 전형적인 memory-bound 영역에 위치하며, 이를 개선하기 위해서는 메모리 대역폭을 높이거나 배치 사이즈를 키워 산술 강도를 인위적으로 높여야 한다. 반면 prefill은 산술 강도가 높아 하드웨어의 최대 연산 성능에 도달하기 유리한 compute-bound 특성을 보인다.

산술 강도는 메모리 접근 횟수 대비 실제 연산 횟수를 나타내며, 데이터 재사용성이 높을수록 수치가 올라간다.

51:33

추론 성능 지표: Interactivity와 Throughput

추론 시스템의 성능은 개별 사용자가 느끼는 토큰 생성 속도인 interactivity와 시스템 전체가 초당 처리하는 총 토큰 수인 throughput으로 평가한다. 배치를 키우면 throughput은 선형적으로 증가하지만, 메모리 접근 시간이 늘어나 interactivity는 저하되는 trade-off 관계가 형성된다. SemiAnalysis의 InferenceX 벤치마크는 이 두 지표를 축으로 하는 Pareto curve를 통해 하드웨어의 실질적인 가성비를 측정한다. 서비스 제공자는 목표로 하는 interactivity 수준(예: 초당 10토큰)을 먼저 설정한 뒤, 해당 지점에서 가장 높은 throughput을 내는 하드웨어와 소프트웨어 스택을 선택해야 한다.

Pareto curve는 주어진 자원에서 한 지표를 희생하지 않고는 다른 지표를 개선할 수 없는 최적의 상태들을 연결한 곡선이다.

01:00:51

vLLM의 혁신과 고도화된 추론 최적화

vLLM 프레임워크는 PagedAttention 기술을 통해 KV cache 메모리를 페이지 단위로 관리함으로써 메모리 낭비를 제거하고 처리량을 획기적으로 높였다. 또한 요청 단위가 아닌 토큰 생성 단위로 배치를 재구성하는 continuous batching을 도입하여 긴 프롬프트 처리에 따른 대기 시간을 최소화했다. 여기에 prefill 연산을 잘게 쪼개어 decode 연산 사이에 섞는 chunked prefill과, 작은 모델로 미리 예측하고 큰 모델로 검증하는 speculative decoding 기법이 결합되어 추론 효율을 극대화한다. 이러한 기법들은 하드웨어 자원을 100%에 가깝게 활용할 수 있게 해준다.

Continuous batching은 기존의 정적 배치 방식이 가장 긴 응답이 끝날 때까지 다른 요청들이 기다려야 했던 문제를 해결한 동적 스케줄링 방식이다.

01:18:53

Agentic AI와 Heterogeneous Computing의 미래

에이전트 중심의 AI 워크로드는 사람이 결과를 확인하고 다음 명령을 내리는 대기 시간이 길어 KV cache 관리가 더욱 복잡해진다. 이를 위해 prefill 전용 서버와 decode 전용 서버를 나누는 disaggregation 아키텍처가 부상하고 있으며, 사용하지 않는 KV cache를 SSD나 CPU 메모리로 잠시 옮겼다 가져오는 계층형 메모리 관리 기술이 중요해지고 있다. 향후 AI 인프라는 범용 GPU와 Groq와 같은 특수 목적 LPU가 결합하여 각 단계에 최적화된 연산을 수행하는 heterogeneous computing 형태로 진화할 전망이다. 이는 단순한 연산 성능 경쟁을 넘어 전체 시스템의 데이터 흐름과 메모리 계층 구조를 최적화하는 방향으로 나아가고 있음을 의미한다.

Heterogeneous computing은 서로 다른 특성을 가진 프로세서들을 혼합하여 시스템의 전반적인 성능과 효율을 높이는 컴퓨팅 방식이다.

용어 해설

키-값 캐시(KV cache)
— Transformer 모델의 decode 단계에서 이전 토큰들의 Key와 Value 연산 결과를 메모리에 저장해두고 재사용하는 기술이다. 매번 처음부터 다시 계산하는 낭비를 줄여 추론 속도를 높이지만, 컨텍스트가 길어질수록 막대한 메모리 용량을 차지하여 새로운 병목 구간이 된다.
산술 강도(Arithmetic Intensity)
— 메모리에서 읽어온 데이터 1바이트당 수행하는 연산 횟수의 비율을 의미한다. 이 수치가 높으면 연산 장치의 성능이 중요해지는 compute-bound 상태가 되고, 낮으면 메모리 대역폭이 성능을 결정하는 memory-bound 상태가 된다.
루프라인 분석(Roofline Analysis)
— 하드웨어의 최대 연산 성능과 메모리 대역폭을 시각화하여 특정 알고리즘의 성능 한계를 분석하는 방법론이다. 산술 강도에 따라 모델이 하드웨어의 어떤 자원에 의해 병목이 발생하는지 직관적으로 파악할 수 있게 해준다.
페이지드 어텐션(PagedAttention)
— OS의 가상 메모리 관리 기법을 KV cache에 적용하여 메모리를 불연속적인 블록 단위로 할당하는 기술이다. 메모리 파편화를 방지하여 낭비되는 공간을 90% 이상 줄이고, 더 큰 배치 사이즈를 처리할 수 있게 하여 추론 처리량을 극대화한다.
투기적 디코딩(Speculative Decoding)
— 작고 빠른 드래프트 모델이 여러 토큰을 미리 예측하고, 큰 타겟 모델이 이를 한 번에 검증하는 추론 가속 기법이다. 한 번에 한 토큰씩 생성하는 decode의 순차적 특성을 극복하여 전체적인 추론 지연 시간을 단축시킨다.
자원 분리(Disaggregation)
— 추론 과정에서 연산 특성이 다른 prefill과 decode 단계를 물리적으로 다른 서버 풀이나 하드웨어 자원에서 처리하도록 분리하는 아키텍처이다. 각 단계에 최적화된 자원을 할당함으로써 전체 시스템의 효율성과 처리량을 높일 수 있다.

언급된 리소스

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 09. 01.수집 2026. 09. 01.출처 타입 YOUTUBE

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.