LLM 용어 가이드: 가중치, 추론, 유효 시퀀스 길이 및 셀프 호스팅 해설

섹션별 상세

텍스트는 모델 처리 전 숫자로 된 토큰으로 변환되며 영어 기준 1단어는 약 1.3토큰에 해당한다. 모델 가중치는 GPU의 VRAM에 로드되어 연산에 사용되며 파라미터 수가 많을수록 더 많은 메모리가 필요하다. 최근에는 지식 증류 기법을 통해 적은 파라미터로도 과거 대형 모델의 성능을 능가하는 효율적인 모델들이 등장하고 있다.

문장이 토큰 ID 시퀀스로 변환되는 과정을 보여주는 다이어그램 — DiagramLet's don't do this! 문장이 7개의 고유한 토큰 ID로 매핑되는 과정을 시각화한다. 텍스트가 모델에 입력되기 전 숫자로 인코딩되는 토큰화의 개념을 구체적인 예시로 제시한다.

150B 이하 중형 오픈소스 모델의 성능 순위표 — ChartAAII 지수를 기준으로 gpt-oss-120B 모델이 가장 높은 성능을 기록하고 있음을 보여준다. 컨텍스트 윈도우 크기와 제작사 정보를 함께 제공하여 모델 선택의 기준을 제시한다.

40B 이하 소형 오픈소스 모델의 성능 순위표 — Chartgpt-oss-20B 모델이 소형 모델 카테고리에서 상위권 성능을 유지하고 있음을 확인해준다. 다양한 기업의 소형 모델들과 성능 및 컨텍스트 길이를 비교할 수 있는 데이터를 제공한다.

추론은 VRAM에 로드된 모델이 응답을 생성하는 과정이며 입력과 출력 토큰의 총합인 유효 시퀀스 길이는 모델의 컨텍스트 윈도우 제한을 넘을 수 없다. 컨텍스트 윈도우는 아키텍처상의 한계치이나 실제 운영 시에는 지연 시간과 품질 저하를 방지하기 위해 이보다 훨씬 적은 토큰을 사용하는 것이 권장된다. 토큰 수 표기 시 128k와 128Ki 사이의 이진 접두사 차이를 명확히 구분하는 것이 기술적 정확성 측면에서 중요하다.

추론 모델은 단순 패턴 매칭을 넘어 다단계 논리 단계를 거치도록 훈련되어 수학이나 코딩 등 복잡한 분석 작업에서 높은 신뢰도를 제공한다. 추론 과정에서 생성되는 생각 토큰은 모델의 논리적 정확도를 높이지만 전체 시퀀스 길이를 늘려 메모리 사용량을 증가시키는 요인이 된다. 사용자는 reasoning_effort 파라미터를 조절하여 추론의 깊이와 생성 속도 사이의 균형을 전략적으로 선택할 수 있다.

양자화는 모델 가중치의 정밀도를 낮추어 VRAM 점유율을 획기적으로 줄이는 포스트 프로세싱 기법이다. BF16 형식을 4비트로 압축하면 메모리 사용량을 4분의 1로 줄일 수 있어 저사양 하드웨어에서도 대형 모델 실행이 가능해진다. 다만 사후 양자화는 모델의 안정성을 해칠 수 있으므로 처음부터 저정밀도 추론에 최적화되어 훈련된 모델을 선택하는 것이 유리하다.

vLLM은 OpenAI API와 호환되는 고성능 추론 서버로 KV 캐시를 통해 이전 연산 결과를 재사용함으로써 생성 속도를 극대화한다. 첫 토큰 생성 단계인 프리필은 연산 부하가 크지만 이후 디코딩 단계에서는 캐시된 데이터를 활용해 매우 빠른 속도로 토큰을 스트리밍할 수 있다. 프리픽스 캐싱 기능을 활용하면 공통된 시스템 프롬프트를 공유하는 여러 요청에서 중복 연산을 제거하여 처리량을 높일 수 있다.

typescript

export default {
  resourceId: 'aparts',
  options: {
    // show 12 rows per page in the list view
    listPageSize: 12,
  },
} as AdminForthResourceInput;

AdminForth 리소스 설정에서 페이지당 표시되는 레코드 수를 지정하는 예시 코드

Tluma AI 위젯의 실제 작동 화면과 설정 코드 — ScreenshotAI 챗봇 위젯이 문서 기반 답변을 생성하는 모습과 이를 구현하기 위한 TypeScript 설정 코드를 보여준다. listPageSize와 같은 구체적인 옵션 적용 사례를 확인할 수 있다.

용어 해설

토큰화(Tokenization): — 텍스트를 모델이 처리할 수 있는 최소 단위인 토큰으로 쪼개고 숫자로 변환하는 전처리 과정이다. 모델의 어휘 사전 크기에 따라 변환 방식이 달라지며, 입력 비용과 모델의 이해 범위를 결정하는 기초 단계이다.
KV 캐시(KV Cache): — Transformer 모델의 추론 효율을 높이기 위해 이전 토큰들의 연산 결과인 Key와 Value 벡터를 메모리에 저장해 두는 기법이다. 매 단계마다 전체 시퀀스를 다시 계산하지 않게 하여 생성 속도를 향상시키지만 대량의 VRAM을 점유한다.
양자화(Quantization): — 모델 가중치의 비트 정밀도를 낮춰 메모리 사용량을 줄이고 연산 속도를 높이는 최적화 기술이다. 16비트 데이터를 4비트 등으로 압축하여 고가의 GPU 없이도 대형 모델을 운영할 수 있게 해주며 최근에는 훈련 단계부터 이를 고려하기도 한다.
프리필(Prefill): — 모델이 입력된 프롬프트 전체를 한 번에 연산하여 첫 번째 출력 토큰을 준비하는 초기 고부하 단계이다. 이 과정에서 생성된 중간 결과물들이 KV 캐시에 저장되며 사용자가 체감하는 응답 시작 시간인 TTFT에 직접적인 영향을 미친다.
vLLM: — 대규모 언어 모델을 실제 서비스 환경에서 효율적으로 서빙하기 위해 설계된 오픈소스 추론 엔진이다. PagedAttention 기술을 통해 메모리 관리를 최적화하고 높은 처리량을 제공하며 표준 API 규격을 지원하여 기존 시스템과의 통합이 용이하다.

기술

vLLM
OpenAI GPT-OSS-20B
OpenAI GPT-OSS-120B
Hugging Face
TypeScript

활용 사례

셀프 호스팅 LLM API
문서 기반 AI 챗봇
비용 최적화된 RAG 시스템

언급된 리소스

DemoTluma Project

GitHubvLLM GitHub

LLM 용어 가이드: 가중치, 추론, 유효 시퀀스 길이 및 셀프 호스팅 해설

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

로컬에서 실행할 수 있는 LLM은 무엇인가

로컬 LLM 추론 엔진 비교: Llama.cpp vs vLLM

LLM 추론 지연을 줄이는 7가지 방법

LLM 프로덕션 배포 실전 가이드: 5단계 완성