Firefox 사이드바에서 로컬 LLM 사용하기

섹션별 상세

Ollama를 설치하고 시스템 서비스 설정을 변경하여 외부 인터페이스 접속을 허용한다. 기본적으로 로컬호스트에서만 작동하는 Ollama의 환경 변수에 OLLAMA_HOST=0.0.0.0을 추가하여 모든 네트워크 인터페이스에서 수신 대기하도록 구성한다. 이를 통해 Docker 컨테이너 등 다른 환경에서도 Ollama API에 접근할 수 있는 기반을 마련한다. 로컬 환경에서 Llama 3.2 1B 및 Qwen 2.5 1.5B 모델을 미리 다운로드하여 준비한다.

근거

Ollama 서비스의 [Service] 섹션에 Environment='OLLAMA_HOST=0.0.0.0'을 추가해야 한다. — Ollama 섹션의 코드 블록

Open WebUI를 Docker 컨테이너로 실행하여 Firefox 사이드바가 로드할 수 있는 웹 기반 사용자 인터페이스를 구축한다. docker run 명령어를 사용하여 8080 포트를 매핑하고 host.docker.internal 설정을 통해 컨테이너 내부에서 호스트의 Ollama API에 접근할 수 있도록 경로를 지정한다. 실행 후 브라우저에서 localhost:8080에 접속하여 Ollama에 설치된 모델들이 정상적으로 목록에 표시되는지 확인한다. 이 단계는 Firefox가 단순 API가 아닌 웹 UI 형태의 챗봇 인터페이스를 요구하기 때문에 필수적이다.

Open WebUI 컨테이너의 Docker 로그 출력 화면 — ScreenshotOpen WebUI 서버가 정상적으로 시작되었음을 나타내는 로그를 보여준다. 벡터 DB로 Chroma를 사용하고 임베딩 모델로 sentence-transformers를 로드하는 등 백엔드 초기화 과정을 기술적으로 증명한다.

Firefox의 고급 설정인 about:config를 수정하여 로컬 호스트를 챗봇 공급자로 활성화한다. browser.ml.chat.hideLocalhost 설정을 false로 변경하면 사이드바의 모델 선택 드롭다운 메뉴에 localhost 옵션이 나타난다. 기본적으로 Firefox는 8080 포트에서 실행 중인 인터페이스를 찾으며, 다른 포트를 사용할 경우 browser.ml.chat.provider 설정을 직접 수정하여 URL을 지정할 수 있다. 설정을 마치면 사이드바에서 로컬 모델을 선택해 즉시 대화를 시작할 수 있다.

Firefox 사이드바에서 Qwen2.5 모델을 사용하여 로컬 LLM과 대화하는 모습 — ScreenshotFirefox 브라우저 내부에 Open WebUI가 성공적으로 통합된 결과를 보여준다. 사이드바 상단 드롭다운에서 localhost가 선택되어 있으며, 로컬에서 구동 중인 Qwen2.5:1.5b 모델이 텍스트를 생성하는 실제 인터페이스를 확인할 수 있다.

근거

Firefox 설정에서 browser.ml.chat.hideLocalhost를 false로 설정하면 로컬 챗봇 옵션이 활성화된다. — Firefox config 섹션

기술

Ollama
Open WebUI
Firefox
Docker
Qwen2.5
Llama 3.2

활용 사례

브라우저 사이드바를 통한 오프라인 AI 채팅
개인 데이터 유출 없는 문서 요약 및 질의응답
로컬 LLM 모델 성능 테스트 및 비교

언급된 리소스

GitHubopen-webui GitHub Repository