Windows에서 Ollama와 LM Studio를 활용한 로컬 LLM 구축 가이드

섹션별 상세

Ollama 설치 및 Llama 3.2 실행: PowerShell을 통해 Ollama를 설치하고 `ollama run llama3.2` 명령어로 3B 파라미터 모델을 즉시 구동한다. RTX A3000의 6GB VRAM 내에서 원활하게 작동하며, 설치 과정에서 매니페스트 확인, 레이어 다운로드, 체크섬 검증이 자동으로 진행된다.

bash

irm https://ollama.com/install.ps1 | iex

PowerShell에서 Ollama를 설치하는 명령어

bash

ollama run llama3.2

Llama 3.2 3B 모델을 다운로드하고 즉시 실행하는 명령어

NVIDIA-SMI 실행 결과 화면 — ScreenshotRTX A3000 GPU의 드라이버 버전(573.57)과 CUDA 버전(12.8)을 보여주며, 현재 GPU 메모리 사용량과 프로세스 목록을 통해 드라이버가 정상 작동 중임을 확인한다.

Ollama의 Llama 3.2 모델 다운로드 과정 — Screenshotollama run llama3.2 명령어를 통해 모델 매니페스트를 가져오고 2.0GB 크기의 모델 레이어를 다운로드하는 진행 상황을 보여준다.

Ollama 터미널에서의 Llama 3.2 채팅 인터페이스 — Screenshot모델 다운로드 완료 후 성공 메시지와 함께 사용자가 로컬 모델과 직접 대화를 나누는 터미널 환경을 보여준다.

성능 최적화 및 모니터링: `ollama ps` 명령어로 모델이 GPU에서 100% 실행되는지 확인하며, 시스템 RAM으로의 데이터 전송(Spillover)을 방지한다. `OLLAMA_FLASH_ATTENTION` 환경 변수를 1로 설정하여 온칩 SRAM을 활용함으로써 VRAM 이동 부하를 줄이고 추론 속도를 향상시킨다.

powershell

[System.Environment]::SetEnvironmentVariable("OLLAMA_FLASH_ATTENTION", "1", "User")

추론 속도 향상을 위해 Flash Attention을 활성화하는 환경 변수 설정

VS Code GitHub Copilot 연동: 보안상의 이유로 차단된 외부 요청을 허용하기 위해 `OLLAMA_ORIGINS` 환경 변수를 설정한다. 이후 VS Code의 모델 관리자에서 Ollama를 공급자로 추가하여 로컬 모델을 Copilot Chat 인터페이스 내에서 직접 사용할 수 있다.

powershell

[System.Environment]::SetEnvironmentVariable("OLLAMA_ORIGINS", "vscode-webview://*", "User")

VS Code에서 Ollama API에 접근할 수 있도록 허용하는 보안 설정

VS Code Copilot Chat의 모델 선택 메뉴 — ScreenshotGitHub Copilot에서 사용할 수 있는 다양한 모델 목록과 함께 하단의 'Manage Models...' 옵션을 통해 로컬 모델을 추가할 수 있는 진입점을 보여준다.

VS Code에 Ollama 모델 공급자 추가 화면 — ScreenshotAdd Models 메뉴에서 Ollama를 선택하여 로컬에서 구동 중인 모델을 VS Code 인터페이스에 통합하는 과정을 보여준다.

LM Studio를 통한 GUI 환경 구축: CLI가 익숙하지 않은 사용자를 위해 LM Studio를 설치하고 Gemma 3 4B 등의 모델을 구동한다. 컨텍스트 길이를 8192 토큰으로 설정하고 GPU 오프로드를 최대화하여 6GB VRAM 한계 내에서 최적의 성능을 끌어낸다.

전력 소비 및 비용 분석: RTX A3000 기반 로컬 AI 구동 시 유휴 상태에서 5-10W, 활성 생성 시 35-60W의 전력을 소모한다. 이를 영국 전기 요금 기준으로 환산하면 매일 3시간 사용 시 월 비용이 약 1.5파운드(약 2,500원) 미만으로 나타나 유료 클라우드 구독 서비스보다 경제적이다.

용어 해설

비디오 램(VRAM): — 그래픽 카드에 내장된 고속 메모리로, LLM의 가중치와 연산 데이터를 저장하는 핵심 자원이다. VRAM 용량이 모델 크기보다 작으면 성능이 급격히 저하된다.
플래시 어텐션(Flash Attention): — 메모리 읽기/쓰기 횟수를 최적화하여 어텐션 메커니즘의 계산 속도를 높이고 메모리 사용량을 줄이는 기법이다. 온칩 SRAM을 효율적으로 활용하여 추론 성능을 개선한다.
컨텍스트 윈도우(Context Window): — 모델이 한 번에 처리하고 기억할 수 있는 텍스트의 최대 범위이다. 이 범위가 커질수록 더 긴 문서를 분석할 수 있지만 VRAM 소모량이 비례하여 증가한다.
GPU 오프로딩(GPU Offloading): — 모델의 연산 레이어를 CPU 대신 GPU로 할당하여 처리 속도를 가속화하는 방식이다. 모든 레이어를 GPU에 올릴 때 가장 빠른 성능을 발휘한다.
스필오버(Spillover): — VRAM 용량이 부족하여 데이터를 상대적으로 느린 시스템 RAM으로 넘겨 처리하는 현상이다. 이 경우 추론 속도가 현저히 느려지는 원인이 된다.

기술

Ollama
LM Studio
Llama 3.2
Gemma 3
VS Code
NVIDIA RTX A3000

활용 사례

로컬 코딩 어시스턴트
개인용 AI 챗봇
비용 최적화 AI 워크플로

언급된 리소스

문서Ollama Download for Windows

문서LM Studio Official Site

섹션별 상세

bash

irm https://ollama.com/install.ps1 | iex

PowerShell에서 Ollama를 설치하는 명령어

bash

ollama run llama3.2

Llama 3.2 3B 모델을 다운로드하고 즉시 실행하는 명령어

powershell

[System.Environment]::SetEnvironmentVariable("OLLAMA_FLASH_ATTENTION", "1", "User")

추론 속도 향상을 위해 Flash Attention을 활성화하는 환경 변수 설정

powershell

[System.Environment]::SetEnvironmentVariable("OLLAMA_ORIGINS", "vscode-webview://*", "User")

VS Code에서 Ollama API에 접근할 수 있도록 허용하는 보안 설정

용어 해설

비디오 램(VRAM): — 그래픽 카드에 내장된 고속 메모리로, LLM의 가중치와 연산 데이터를 저장하는 핵심 자원이다. VRAM 용량이 모델 크기보다 작으면 성능이 급격히 저하된다.
플래시 어텐션(Flash Attention): — 메모리 읽기/쓰기 횟수를 최적화하여 어텐션 메커니즘의 계산 속도를 높이고 메모리 사용량을 줄이는 기법이다. 온칩 SRAM을 효율적으로 활용하여 추론 성능을 개선한다.
컨텍스트 윈도우(Context Window): — 모델이 한 번에 처리하고 기억할 수 있는 텍스트의 최대 범위이다. 이 범위가 커질수록 더 긴 문서를 분석할 수 있지만 VRAM 소모량이 비례하여 증가한다.
GPU 오프로딩(GPU Offloading): — 모델의 연산 레이어를 CPU 대신 GPU로 할당하여 처리 속도를 가속화하는 방식이다. 모든 레이어를 GPU에 올릴 때 가장 빠른 성능을 발휘한다.
스필오버(Spillover): — VRAM 용량이 부족하여 데이터를 상대적으로 느린 시스템 RAM으로 넘겨 처리하는 현상이다. 이 경우 추론 속도가 현저히 느려지는 원인이 된다.

기술

Ollama
LM Studio
Llama 3.2
Gemma 3
VS Code
NVIDIA RTX A3000

활용 사례

로컬 코딩 어시스턴트
개인용 AI 챗봇
비용 최적화 AI 워크플로

언급된 리소스

문서Ollama Download for Windows

문서LM Studio Official Site

Windows에서 Ollama와 LM Studio를 활용한 로컬 LLM 구축 가이드

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

Windows에서 Ollama와 LM Studio를 활용한 로컬 LLM 구축 가이드

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

로컬 LLM 추론 엔진 비교: Llama.cpp vs vLLM

관련 토론

댓글

관련 기사

로컬 LLM 추론 엔진 비교: Llama.cpp vs vLLM