Windows에서 Ollama와 LM Studio를 활용한 로컬 LLM 구축 가이드

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

고성능 워크스테이션 노트북인 Lenovo ThinkPad P1 Gen 4(RTX A3000 6GB VRAM)를 활용하여 로컬 환경에서 대형 언어 모델(LLM)을 구동하는 방법을 제시한다. CLI 기반의 Ollama와 GUI 기반의 LM Studio를 설치하고, Llama 3.2 3B 모델을 최적화하여 실행하는 구체적인 단계를 포함한다. 특히 Flash Attention 설정과 VS Code GitHub Copilot Chat과의 연동을 통해 개발 생산성을 높이는 방법을 다루며, 클라우드 구독 서비스 대비 저렴한 유지 비용을 수치로 증명한다.

배경

NVIDIA GPU (6GB VRAM 이상 권장), Windows OS 및 PowerShell, NVIDIA 드라이버 설치 완료

대상 독자

로컬 환경에서 LLM을 구축하고 IDE와 연동하려는 윈도우 사용자 및 개발자

의미 / 영향

고가의 구독 서비스 없이도 개인용 워크스테이션에서 충분한 성능의 AI 보조 도구를 구축할 수 있음을 시사한다. 특히 데이터 보안이 중요한 기업 환경에서 로컬 LLM과 IDE의 연동은 강력한 대안이 될 수 있다.

섹션별 상세

Ollama 설치 및 Llama 3.2 실행: PowerShell을 통해 Ollama를 설치하고 `ollama run llama3.2` 명령어로 3B 파라미터 모델을 즉시 구동한다. RTX A3000의 6GB VRAM 내에서 원활하게 작동하며, 설치 과정에서 매니페스트 확인, 레이어 다운로드, 체크섬 검증이 자동으로 진행된다.

bash

irm https://ollama.com/install.ps1 | iex

PowerShell에서 Ollama를 설치하는 명령어

bash

ollama run llama3.2

Llama 3.2 3B 모델을 다운로드하고 즉시 실행하는 명령어

NVIDIA-SMI 실행 결과 화면 — ScreenshotRTX A3000 GPU의 드라이버 버전(573.57)과 CUDA 버전(12.8)을 보여주며, 현재 GPU 메모리 사용량과 프로세스 목록을 통해 드라이버가 정상 작동 중임을 확인한다.

Ollama의 Llama 3.2 모델 다운로드 과정 — Screenshotollama run llama3.2 명령어를 통해 모델 매니페스트를 가져오고 2.0GB 크기의 모델 레이어를 다운로드하는 진행 상황을 보여준다.

Ollama 터미널에서의 Llama 3.2 채팅 인터페이스 — Screenshot모델 다운로드 완료 후 성공 메시지와 함께 사용자가 로컬 모델과 직접 대화를 나누는 터미널 환경을 보여준다.

성능 최적화 및 모니터링: `ollama ps` 명령어로 모델이 GPU에서 100% 실행되는지 확인하며, 시스템 RAM으로의 데이터 전송(Spillover)을 방지한다. `OLLAMA_FLASH_ATTENTION` 환경 변수를 1로 설정하여 온칩 SRAM을 활용함으로써 VRAM 이동 부하를 줄이고 추론 속도를 향상시킨다.

powershell

[System.Environment]::SetEnvironmentVariable("OLLAMA_FLASH_ATTENTION", "1", "User")

추론 속도 향상을 위해 Flash Attention을 활성화하는 환경 변수 설정

VS Code GitHub Copilot 연동: 보안상의 이유로 차단된 외부 요청을 허용하기 위해 `OLLAMA_ORIGINS` 환경 변수를 설정한다. 이후 VS Code의 모델 관리자에서 Ollama를 공급자로 추가하여 로컬 모델을 Copilot Chat 인터페이스 내에서 직접 사용할 수 있다.

powershell

[System.Environment]::SetEnvironmentVariable("OLLAMA_ORIGINS", "vscode-webview://*", "User")

VS Code에서 Ollama API에 접근할 수 있도록 허용하는 보안 설정

VS Code Copilot Chat의 모델 선택 메뉴 — ScreenshotGitHub Copilot에서 사용할 수 있는 다양한 모델 목록과 함께 하단의 'Manage Models...' 옵션을 통해 로컬 모델을 추가할 수 있는 진입점을 보여준다.

VS Code에 Ollama 모델 공급자 추가 화면 — ScreenshotAdd Models 메뉴에서 Ollama를 선택하여 로컬에서 구동 중인 모델을 VS Code 인터페이스에 통합하는 과정을 보여준다.

LM Studio를 통한 GUI 환경 구축: CLI가 익숙하지 않은 사용자를 위해 LM Studio를 설치하고 Gemma 3 4B 등의 모델을 구동한다. 컨텍스트 길이를 8192 토큰으로 설정하고 GPU 오프로드를 최대화하여 6GB VRAM 한계 내에서 최적의 성능을 끌어낸다.

전력 소비 및 비용 분석: RTX A3000 기반 로컬 AI 구동 시 유휴 상태에서 5-10W, 활성 생성 시 35-60W의 전력을 소모한다. 이를 영국 전기 요금 기준으로 환산하면 매일 3시간 사용 시 월 비용이 약 1.5파운드(약 2,500원) 미만으로 나타나 유료 클라우드 구독 서비스보다 경제적이다.

실무 Takeaway

6GB VRAM을 가진 구형 워크스테이션에서도 Llama 3.2 3B와 같은 경량 모델을 100% GPU 가속으로 원활하게 구동할 수 있다.
OLLAMA_FLASH_ATTENTION 설정을 통해 메모리 대역폭 효율을 높여 로컬 추론 성능을 극대화할 수 있다.
OLLAMA_ORIGINS 환경 변수 설정을 통해 로컬 LLM을 VS Code Copilot Chat의 백엔드로 활용하여 데이터 보안과 비용 절감을 동시에 달성할 수 있다.

언급된 리소스

문서Ollama Download for Windows

문서LM Studio Official Site