TL;DR

LLM Wiki는 Karpathy 패턴을 실제 데스크톱 제품으로 구현해 원본 문서를 불변(raw)로 유지하면서 SHA256 증분 캐시와 지속성 인게스트 큐로 변경된 문서만 순차 처리해 비용을 절감하는 시스템이다. 인게스트는 먼저 LLM으로 구조화된 분석을 생성하고 그 분석을 바탕으로 별도 생성 호출에서 출처가 명시된 마크다운 페이지와 인덱스를 출력해 출처 추적성·일관성을 확보한다. 검색 파이프라인은 토크나이즈드 검색과 선택적 LanceDB 벡터 검색을 결합하고 그래프 기반 4신호 관련성 모델과 Louvain 군집화를 적용해 컨텍스트를 조립하며, 이로 인해 벡터 검색 활성화 시 리콜이 58.2%에서 71.4%로 향상된 결과가 제시되었다. GUI·Rust 백엔드 에이전트·웹 클리퍼·MCP/HTTP API 등 통합된 워크플로를 통해 개인·팀의 문서 수집·검토·심층 연구를 자동화할 수 있지만 MinerU 같은 클라우드 파서 사용 시 민감 문서 처리 정책과 외부 API 키 의존성을 고려해야 한다.

주요 기능

• 증분 인게스트를 실행해 소스 변경만 처리하고 불필요한 LLM 호출을 건너뛴다.
• 두 단계(분석→생성) LLM 호출로 출처 추적 가능한 위키 페이지와 엔티티·개념 페이지를 생성한다.
• 그래프 기반 4신호 관련성 모델과 Louvain 군집화를 사용해 지식 클러스터와 연결 강도를 산정한다.
• 선택적 LanceDB 임베딩을 통해 벡터 검색을 병합하고 하이브리드 검색 파이프라인을 구성한다.
• 로컬 Rust 백엔드 에이전트, Chrome 웹클리퍼, 멀티대화 지속성 등 데스크톱 작업흐름을 통합한다.

어떻게 동작하는가

LLM Wiki는 원본 문서를 raw 디렉토리로 보존한 뒤 SHA256 기반 캐시로 변경된 파일만 순차 인게스트 큐로 처리해 토큰과 호출 비용을 절감한다. 인게스트는 먼저 LLM으로 구조화된 분석(핵심 엔티티·연결·모순 포인트)을 생성하고 그 분석을 입력으로 별도 생성 호출에서 YAML frontmatter가 포함된 마크다운 페이지와 인덱스를 출력함으로써 출처 추적성과 편집 가능성을 보장한다. 검색은 토크나이즈드 키워드 매칭과(기본) 선택적 LanceDB 벡터 검색을 결합하고 그래프 확장 단계에서 4신호 관련성 모델을 적용해 최종 컨텍스트를 조립한다.

해결 문제

분산된 문서와 메모를 일회성 질의에 매번 재생성하는 방식 대신 하나의 지속적이고 연결된 위키로 정리해 검색 효율과 출처 추적을 확보한다. 문서 변경이 생길 때마다 전체를 다시 재생성하는 비용·토큰 낭비 문제를 SHA256 증분 캐시와 지속적 인게스트 큐로 줄인다. 또한 그래프 기반 관련성 신호와 군집 분석으로 지식의 공백과 비정상적 연결을 식별해 추가 연구로 이어지게 한다.

지금 주목받는 이유

레포는 Karpathy 패턴을 완전한 데스크톱 제품으로 구현하고 다수의 사용성 기능(그래프 인사이트, 에이전트 스킬, 웹 클리퍼)을 포함해 GitHub에서 높은 관심(스타 14,560개)을 받았다.

차별점

• Karpathy의 LLM Wiki 패턴을 실제 크로스플랫폼 데스크톱 애플리케이션으로 구현해 GUI·에이전트·백엔드를 통합했다.
• 분석과 생성의 두 단계 LLM 호출을 도입해 출처 추적성과 생성 일관성을 높였고 실패 시 보장된 소스 요약을 남긴다.
• 그래프 관련성에 4개의 가중 신호를 결합하고 Louvain 군집화와 응집도 점수를 제공해 자동 인사이트를 산출한다.
• 로컬 Rust 에이전트와 MCP/HTTP API, Chrome 웹클리퍼, 그리고 스킬 플러그인으로 외부 에이전트 연동을 용이하게 했다.

사용 사례

• 연구용으로 여러 논문·보고서를 하나의 네트워크형 위키로 통합해 관련성 기반 심층 조사와 자동 인용·검토 워크플로를 구성할 때 유용하다.
• 개인 지식관리에서는 읽은 문서들을 자동으로 요약·연결해 지속적으로 갱신되는 참고 위키를 유지하려는 목적에 적합하다.
• 팀 환경에서는 크롬 웹클리퍼와 로컬 API를 통해 협업 기록을 빠르게 수집하고 에이전트 스킬로 팀 도구와 연계해 실무 질의를 자동화할 때 활용할 수 있다.

시작하기

앱을 실행해 새 프로젝트를 만들고 설정에서 LLM 제공자(API 키·모델)를 구성한 뒤 Sources에 문서를 추가하면 Activity 패널에서 인게스트 진행 상황을 확인할 수 있다. 소스에서 직접 빌드하려면 Node.js 20+와 Rust 1.70+ 환경에서 git clone 이후 npm install을 실행하고 npm run tauri dev로 개발 서버를 띄우거나 npm run tauri build로 배포 빌드를 생성하면 된다. Chrome 확장 설치는 chrome://extensions에서 extension/ 디렉토리를 로드하면 자동으로 클립-인게스트 플로우가 동작한다.

요구사항

• Node.js 20 이상과 Rust 1.70 이상이 필요하며 개발 빌드 시 npm 환경이 요구된다.
• 데스크톱 배포는 macOS(Apple Silicon/Intel), Windows(.msi), Linux(.deb/.AppImage)를 공식적으로 빌드해 제공한다.
• 선택적 기능(벡터 검색, MinerU PDF 파싱, 외부 웹 검색)은 별도의 API 키나 외부 서비스 접속 설정이 필요하다.

벤치마크

이미지 분석