TL;DR

LLM Wiki는 Karpathy 패턴을 실제 데스크톱 제품으로 구현해 원본 문서를 불변(raw)로 유지하면서 SHA256 증분 캐시와 지속성 인게스트 큐로 변경된 문서만 순차 처리해 비용을 절감하는 시스템이다. 인게스트는 먼저 LLM으로 구조화된 분석을 생성하고 그 분석을 바탕으로 별도 생성 호출에서 출처가 명시된 마크다운 페이지와 인덱스를 출력해 출처 추적성·일관성을 확보한다. 검색 파이프라인은 토크나이즈드 검색과 선택적 LanceDB 벡터 검색을 결합하고 그래프 기반 4신호 관련성 모델과 Louvain 군집화를 적용해 컨텍스트를 조립하며, 이로 인해 벡터 검색 활성화 시 리콜이 58.2%에서 71.4%로 향상된 결과가 제시되었다. GUI·Rust 백엔드 에이전트·웹 클리퍼·MCP/HTTP API 등 통합된 워크플로를 통해 개인·팀의 문서 수집·검토·심층 연구를 자동화할 수 있지만 MinerU 같은 클라우드 파서 사용 시 민감 문서 처리 정책과 외부 API 키 의존성을 고려해야 한다.

핵심 포인트

• Karpathy의 LLM Wiki 패턴을 실제 크로스플랫폼 데스크톱 애플리케이션으로 구현해 GUI·에이전트·백엔드를 통합했다.
• 분석과 생성의 두 단계 LLM 호출을 도입해 출처 추적성과 생성 일관성을 높였고 실패 시 보장된 소스 요약을 남긴다.
• 그래프 관련성에 4개의 가중 신호를 결합하고 Louvain 군집화와 응집도 점수를 제공해 자동 인사이트를 산출한다.
• 로컬 Rust 에이전트와 MCP/HTTP API, Chrome 웹클리퍼, 그리고 스킬 플러그인으로 외부 에이전트 연동을 용이하게 했다.

벤치마크

이미지 분석