챕터별 상세
LLM 아티팩트의 구조와 추론 엔진
LLM을 다운로드하면 단일 실행 파일이 아닌 여러 파일로 구성된 아티팩트 묶음을 받게 된다. 여기에는 모델의 가중치를 담은 safetensors 파일과 아키텍처 정보를 담은 config.json 등이 포함된다. 사용자는 llama.cpp, vLLM, SGLang 등 선택한 추론 엔진에 따라 이 아티팩트들을 로드하고 서빙하는 방식이 달라짐을 인지해야 한다. 각 엔진은 C++, Python, Rust 등 서로 다른 언어로 작성되어 있으며 동시성 처리 성능에서 차이를 보인다.
safetensors는 모델 가중치를 안전하고 빠르게 로드하기 위해 설계된 데이터 포맷이다.
모델 로딩과 메모리 계층 구조의 병목
모델 추론을 위해서는 SSD에 저장된 대용량 가중치 파일을 RAM이나 GPU 메모리로 옮겨야 한다. 15GB 크기의 모델을 로드할 때 PCIe 4.0 NVMe 인터페이스를 사용하면 이론적으로 초당 7GB의 속도로 전송이 가능하다. 하지만 단순한 복사 방식은 메모리 점유율을 두 배로 늘리는 비효율을 초래한다. 따라서 추론 엔진은 하드웨어 자원을 효율적으로 사용하기 위해 지능적인 로딩 전략을 채택한다.
mmap을 이용한 효율적인 지연 로딩
llama.cpp와 같은 엔진은 mmap(Memory Mapping) 기술을 사용하여 모델을 로드한다. mmap은 운영체제가 파일의 논리적 위치를 관리하게 하여, 추론 시 실제로 필요한 가중치만 SSD에서 RAM으로 지연 로딩(Lazy Loading)한다. 이를 통해 모델 전체를 메모리에 올리지 않고도 10초 이내에 첫 번째 토큰 생성을 시작할 수 있는 속도를 확보한다. 또한 RAM이 부족할 경우 운영체제가 덜 사용되는 가중치를 자동으로 비워 시스템 안정성을 유지한다.
mmap은 디스크의 파일을 프로세스의 메모리 주소 공간에 직접 매핑하는 시스템 호출이다.
양자화의 기본 개념과 RTN 방식
양자화는 모델 가중치의 정밀도를 낮춰 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다. 가장 단순한 방식인 RTN(Round-to-Nearest)은 가중치 텐서 전체를 일정한 범위로 정규화한 뒤 가장 가까운 정수값으로 반올림한다. 예를 들어 BF16 정밀도의 가중치를 Int8이나 Int4로 변환하면 용량은 획기적으로 줄어든다. 하지만 모든 가중치에 동일한 스케일을 적용하기 때문에 정보 손실이 크고 모델의 정확도가 급격히 떨어지는 단점이 있다.
양자화 과정에서 발생하는 정보 손실은 모델의 언어 이해 능력을 측정하는 Perplexity 지표의 상승으로 이어진다.
GGUF와 K-quants의 계층적 양자화
GGUF 포맷에서 주로 사용하는 K-quants 방식은 계층적 스케일링을 도입하여 정확도 문제를 해결했다. 256개의 가중치를 하나의 큰 그룹으로 묶고, 그 안에 다시 32개씩 작은 그룹을 만들어 각각 로컬 스케일을 적용한다. 이 방식은 가중치 분포 내의 이상치(Anomalies)를 더 세밀하게 보존할 수 있게 한다. 또한 모델 아키텍처의 중요도에 따라 임베딩이나 정규화 레이어에는 더 높은 비트를 할당하는 혼합 정밀도 전략을 사용하여 4비트 환경에서도 높은 성능을 유지한다.
GGUF는 llama.cpp 프로젝트에서 개발한 바이너리 모델 포맷으로, CPU와 GPU 간의 가중치 오프로딩에 최적화되어 있다.
AWQ: 활성화 기반 가중치 보호 기법
AWQ(Activation-aware Weight Quantization)는 모든 가중치가 동일하게 중요하지 않다는 점에 착안했다. 보정 데이터셋을 모델에 통과시켜 활성화 값이 크게 나타나는 가중치(Salient Weights)를 식별한다. 이러한 중요한 가중치들은 양자화 시 오차를 줄이기 위해 별도의 스케일링 처리를 거쳐 보호한다. 결과적으로 전체 모델을 저정밀도로 양자화하면서도 핵심적인 정보는 보존하여 RTN 방식보다 훨씬 뛰어난 정확도를 보여준다.
EXL2: 헤시안 행렬 기반의 가변 비트 양자화
EXL2는 헤시안 행렬(Hessian Matrix)을 사용하여 가중치 오차가 전체 손실 함수에 미치는 민감도를 계산한다. 민감도가 높은 가중치 그룹에는 4~6비트를 할당하고, 덜 중요한 그룹에는 2~3비트를 할당하는 식으로 비트를 가변적으로 배분한다. 벤치마크 결과 Llama 2 13B 모델 기준으로 EXL2는 다른 양자화 방식보다 초당 토큰 생성 속도가 가장 빠르면서도 낮은 Perplexity를 유지했다. 이는 하드웨어 자원을 극도로 효율적으로 활용하는 최신 기법 중 하나이다.
헤시안 행렬은 다변수 함수의 2계 편도함수를 행렬로 나타낸 것으로, 최적화 문제에서 곡률 정보를 제공한다.
하드웨어 특화 양자화: FP8 및 NVFP4
최신 NVIDIA GPU 아키텍처인 Hopper(H100)와 Blackwell(B200)은 FP8 및 NVFP4와 같은 저정밀도 포맷을 하드웨어 차원에서 네이티브하게 지원한다. 이러한 포맷은 텐서 코어(Tensor Core) 내부의 연산 로직과 직접 연결되어 있어 별도의 변환 과정 없이도 극도로 빠른 추론 속도를 제공한다. 하드웨어 스펙에 맞춘 양자화 포맷을 선택하는 것은 엔터프라이즈급 추론 시스템 구축에서 필수적인 고려 사항이 되고 있다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 21.수집 2026. 04. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
