Claude Code와 Obsidian, Ollama를 활용한 25가지 도구 기반 AI 세컨드 브레인 구축기

실용적 조언

긴 문서를 RAG에 사용할 때는 512자 내외로 청킹하고 상위 섹션 제목을 앵커로 포함하여 문맥 손실을 방지한다.
AI 세션 간 상태 유지가 필요하다면 Markdown보다 JSON 같은 구조화된 데이터 형식을 사용하는 것이 정보 보존에 유리하다.
SQLite의 FTS5와 벡터 검색을 결합한 하이브리드 검색을 구현하여 키워드와 의미 검색의 장점을 모두 취한다.

섹션별 상세

Claude Code의 기억 상실 문제 해결을 위해 세션마다 초기화되는 문맥을 유지하는 자동화 파이프라인을 구축했다. vault-live-sync.mjs 등의 도구가 실시간으로 세션 로그를 Obsidian 노트로 변환하여 지식을 누적하며, 이를 통해 어제의 결정 사항이나 차단된 이슈를 AI가 즉시 파악할 수 있다. 매 세션 시작 시 최적화된 컨텍스트 패키지를 생성하여 AI의 연속성을 보장하는 것이 핵심이다.

bash

sync -> digest -> reflect -> handoff.json -> search index (chunked bge-m3) -> codebase index -> autotag -> schema fix -> voice inbox -> monitors -> heartbeat

매시간 실행되는 AI 세컨드 브레인 자동화 파이프라인의 데이터 처리 순서

검색 정확도를 극대화하기 위해 512자 단위의 청킹과 헤딩 앵커 기법을 도입하여 데이터의 맥락을 보존했다. bge-m3 모델을 사용한 시맨틱 검색과 SQLite FTS5 기반의 키워드 검색을 50:50 비율로 결합한 하이브리드 방식을 적용했다. 실험 결과 전체 문서 임베딩 시 49%였던 매칭 품질이 청킹 도입 후 61%로 향상됨이 확인됐으며, 이는 대규모 지식 베이스에서 정보 인출의 신뢰성을 높인다.

Claude의 토큰 제한으로 발생하는 문맥 압축 과정에서 정보가 왜곡되는 것을 방지하기 위해 handoff.json이라는 구조화된 데이터를 활용한다. 일반적인 Markdown 서술형 데이터는 압축 시 핵심 내용이 변질되기 쉬우나, 기계 판독이 가능한 JSON 형식은 현재 작업 상태와 우선순위 등 필수 정보를 정확하게 유지한다. 이를 통해 세션이 길어져도 프로젝트의 핵심 맥락이 손실되지 않고 유지되는 효과를 얻었다.

단순한 파일 접근의 한계를 넘어서기 위해 375개의 노드로 구성된 지식 그래프를 구축하고 이를 MCP 서버로 연결하여 AI에게 제공했다. Claude는 kg_paths와 같은 도구를 직접 호출하여 서로 다른 프로젝트 간의 연관 관계를 구조적으로 추적하고 추론한다. 이는 AI가 단순 텍스트 매칭을 넘어 지식의 맥락적 연결성을 이해하게 함으로써 복잡한 의사결정과 문제 해결을 지원하는 고도화된 RAG 패턴이다.

용어 해설

검색 증강 생성(RAG): — 외부 데이터베이스에서 관련 정보를 검색하여 거대 언어 모델의 답변 생성에 활용하는 기술이다. 모델의 내부 지식 한계를 극복하고 최신 정보나 개인 데이터를 기반으로 정확한 응답을 생성하게 돕는 핵심 기법이다.
임베딩(Embedding): — 텍스트와 같은 데이터를 고차원 벡터 공간의 수치로 변환하여 컴퓨터가 의미적 유사성을 계산할 수 있게 만드는 과정이다. 검색 시스템에서 질문과 가장 유사한 문맥을 찾아내는 데 필수적인 역할을 한다.
모델 컨텍스트 프로토콜(MCP): — AI 모델이 외부 도구, 데이터 소스, 서비스와 표준화된 방식으로 상호작용할 수 있도록 설계된 프로토콜이다. 이를 통해 모델이 직접 지식 그래프를 탐색하거나 로컬 파일을 조작하는 등의 확장 기능을 수행한다.
전문 검색 5(FTS5): — SQLite 데이터베이스에서 제공하는 고성능 텍스트 검색 엔진이다. 문서 내의 특정 키워드를 빠르게 찾아내며, 시맨틱 검색과 결합하여 하이브리드 검색 시스템을 구축할 때 주로 사용된다.
시맨틱 검색(Semantic Search): — 단순한 키워드 일치를 넘어 단어의 의미와 문맥적 유사성을 파악하여 정보를 찾는 검색 방식이다. 사용자의 의도를 이해하여 질문과 직접적인 단어 일치가 없더라도 관련성 높은 결과를 제공한다.

언급된 도구

Claude Code추천

자율 코딩 에이전트 및 세션 관리

Obsidian추천

지식 저장소 및 노트 관리 앱

Ollama추천

로컬 LLM 및 임베딩 모델 실행 엔진

bge-m3추천

1024차원 고성능 임베딩 모델

SQLite추천

검색 인덱스, 지식 그래프 및 코드베이스 인덱싱 DB