bairat - 모두를 위한 무료, 광고 없는 프라이버시 우선 AI 어시스턴트

대체로 긍정적이며, 특히 단일 GPU로 수천 명을 지원하려는 시도와 프라이버시 중심의 설계에 대해 많은 사용자가 지지를 보냈다.

• Ollama의 내장 웹 검색 기능 대신 SearXNG를 자체 호스팅하여 사용하면 API 비용과 속도 제한 문제를 동시에 해결할 수 있다.
• 시스템 프롬프트에 날짜를 동적으로 주입하고 사용자 의견을 부정하지 말라는 지침을 추가하면 모델의 날짜 인식 오류를 줄일 수 있다.

SSE Streaming

— 서버가 클라이언트에게 실시간으로 데이터를 밀어주는 단방향 통신 방식이다. LLM 응답을 생성되는 즉시 한 글자씩 사용자에게 보여주기 위해 사용되며, 웹소켓보다 가볍고 구현이 단순하다는 장점이 있다.

Quantization

— 모델의 가중치를 낮은 비트(예: 4비트)로 표현하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다. 본문에서는 Q4 양자화를 통해 30B 규모의 모델을 20GB VRAM 환경에 적재하는 데 성공했다.

SearXNG

— 사용자의 프라이버시를 보호하면서 여러 검색 엔진의 결과를 수집해 보여주는 무료 메타 검색 엔진이다. 자체 호스팅이 가능하여 외부 검색 API의 비용이나 속도 제한 문제 없이 LLM에 실시간 정보를 제공할 수 있다.

VRAM

— 그래픽 카드(GPU)에 내장된 고속 메모리로, LLM의 파라미터를 로드하고 연산을 수행하는 핵심 공간이다. 모델의 크기와 양자화 수준에 따라 필요한 VRAM 용량이 결정되며, 본문에서는 20GB 용량을 활용했다.