가중치 수정 없이 로컬 LLM에 영구적 기억과 개성을 부여하는 적응형 상태 시스템 구축기

작성자의 구체적인 아키텍처 접근 방식과 소형 모델의 한계를 시스템 설계로 극복한 점에 대해 긍정적인 반응이 나타났다. 특히 Ollama의 기본 컨텍스트 기능을 대체한 검색 기반 메모리 전략이 실무적인 해결책으로 평가받았다.

• Ollama의 기본 컨텍스트 스레딩 대신 벡터 DB 검색 기반 메모리를 사용하여 정보 혼선을 방지하라.
• 특정 규칙을 적용할 때는 시스템 프롬프트에서 다른 모든 지침을 제거하여 모델의 집중도를 높여라.
• 사용자 이름 등 엔티티 추출 시 불용어 필터와 글자 수 제한을 두어 오탐지를 줄여라.

• 모델 가중치를 건드리지 않고도 외부 아키텍처 설계만으로 소형 모델(4B)에 강력한 개성과 기억을 부여할 수 있다.
• 컨텍스트 스레딩 대신 검색 기반 메모리 시스템을 사용해야 정보 오염을 방지하고 정밀한 제어가 가능하다.
• 특정 행동 규칙을 강제할 때는 모델이 혼란을 겪지 않도록 관련 없는 모든 컨텍스트를 제거하는 격리가 필수적이다.
• Go 컨트롤러와 벡터 기반 상태 관리를 통해 결정론적 재생(Deterministic Replay)이 가능한 안정적인 시스템 구축이 가능하다.