Ollama로 로컬 LLM 설정 최적화하기

섹션별 상세

Modelfile은 Dockerfile과 유사하게 베이스 모델, 시스템 지침, 파라미터를 선언적으로 정의하여 재사용 가능한 모델 변형을 생성한다. ollama create 명령으로 컴파일하면 API 호출 시 별도의 JSON 페이로드 없이 최적화된 설정이 즉시 적용된다.

text

FROM llama3.1:8b
PARAMETER temperature 0.2
PARAMETER num_ctx 8192
PARAMETER min_p 0.05
SYSTEM """You are an elite, highly precise software engineer. Provide concise, modular, and optimized code solutions."""

Ollama Modelfile을 사용하여 베이스 모델 설정 및 파라미터를 정의하는 예시

Temperature는 출력의 무작위성을 조절하며, Min-P는 Top-P보다 동적으로 토큰 풀을 필터링하여 모델의 일관성과 창의성을 더 정밀하게 제어한다. 코드 생성이나 구조화된 데이터 추출에는 낮은 Temperature와 Min-P를 조합하여 결정론적 결과를 유도한다.

반복 페널티와 존재 페널티를 설정하여 모델이 동일한 문구를 무한 반복하는 현상을 억제한다. 특정 종료 토큰을 명시하면 모델이 불필요한 환각이나 추가 생성을 멈추도록 강제한다.

num_ctx를 조정하여 컨텍스트 윈도우를 확장하고, OLLAMA_KV_CACHE_TYPE을 통해 KV 캐시를 양자화하여 VRAM 사용량을 50~75% 절감한다. Flash Attention을 활성화하면 긴 컨텍스트 처리 시 연산 속도를 높이고 메모리 효율을 개선한다.

OLLAMA_NUM_PARALLEL로 동시 요청 처리량을 늘리고, OLLAMA_KEEP_ALIVE로 모델 로드 지연을 방지한다. 시스템 서비스 설정 파일에서 이러한 환경 변수를 주입하여 프로덕션 환경의 안정성과 처리량을 최적화한다.

bash

[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_KEEP_ALIVE=24h"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_FLASH_ATTENTION=1"

Linux systemd 서비스 설정 파일에 환경 변수를 주입하여 하드웨어 성능을 최적화하는 예시

용어 해설

모델파일(Modelfile): — Ollama에서 모델의 동작 방식, 시스템 지침, 파라미터 설정을 정의하는 선언적 구성 파일이다. Dockerfile과 유사한 구조를 가지며, 이를 통해 재사용 가능한 커스텀 모델 변형을 생성하고 관리한다.
키-값 캐시(KV Cache): — LLM 추론 시 이전 토큰들의 연산 결과(Key, Value)를 메모리에 저장하여 중복 연산을 방지하는 기법이다. 긴 컨텍스트 처리 시 VRAM 사용량의 핵심 요인이 되며, 양자화를 통해 메모리 점유율을 최적화할 수 있다.
샘플링 파라미터(Sampling Parameters): — 모델이 다음 토큰을 선택할 때 확률 분포를 처리하는 방식(Temperature, Top-K, Top-P, Min-P 등)을 결정하는 설정값이다. 이 값들을 조정하여 모델의 창의성, 결정론적 일관성, 반복 억제 수준을 제어한다.
플래시 어텐션(Flash Attention): — 어텐션 연산 시 메모리 접근을 최적화하여 연산 속도를 높이고 메모리 사용량을 줄이는 알고리즘이다. 긴 컨텍스트 처리 시 연산 효율을 극대화하여 하드웨어 자원 제약을 완화한다.
양자화(Quantization): — 모델의 가중치나 KV 캐시의 정밀도를 낮추어(예: 16-bit float에서 4-bit integer로) 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다. 모델 성능 저하를 최소화하면서 하드웨어 요구 사항을 낮춘다.

기술

Ollama
Llama 3.1
Mistral
Go
Docker

활용 사례

로컬 LLM 추론
RAG 시스템
코드 생성
데이터 추출