OpenKB: Andrej Karpathy의 LLM 지식 베이스 개념을 구현한 오픈소스 도구

실용적 조언

20페이지 미만의 짧은 문서는 전체를 읽게 하고, 그 이상의 긴 문서는 트리 인덱싱 모드를 활용하여 처리 효율을 높여라.
Obsidian의 그래프 뷰를 활용하여 LLM이 생성한 지식 간의 연결 구조를 시각적으로 검토하라.

섹션별 상세

OpenKB는 Andrej Karpathy가 제안한 LLM 지식 베이스 개념을 구체화한 Apache 2.0 라이선스의 오픈소스 CLI 도구이다. 사용자가 raw 폴더에 파일을 넣으면 LLM이 이를 분석하여 상호 연결된 Markdown 위키 파일들을 생성하며, 이를 Obsidian에서 열어 지식 그래프로 활용할 수 있다. 지식이 매번 RAG 쿼리 시점에 생성되는 것이 아니라 위키 형태로 누적되므로 정보의 재사용성이 높다.

기존 RAG의 한계인 긴 문서 처리 문제를 해결하기 위해 트리 인덱싱 기법을 도입했다. 200페이지가 넘는 보고서의 경우 표준 청킹 방식은 문맥 손실이 발생하지만, OpenKB는 문서의 목차 구조를 계층적으로 인덱싱하고 각 노드에 요약을 배치한다. LLM은 이 트리를 읽고 사람이 책을 넘기듯 필요한 정보를 찾아내며, 이 과정에서 벡터 데이터베이스를 사용하지 않는 것이 특징이다.

LiteLLM 라이브러리를 활용하여 OpenAI, Anthropic, Gemini 등 다양한 LLM 모델을 유연하게 선택하여 사용할 수 있도록 설계됐다. 또한 Microsoft의 markitdown을 내장하여 PDF, Word, PPT, Excel, HTML 등 광범위한 파일 형식을 지원한다. 텍스트뿐만 아니라 문서 내의 도표, 표, 이미지 등 멀티모달 데이터도 추출하여 추론 과정에 포함시킨다.

생성된 지식 베이스의 품질 관리를 위해 모니터링 및 린팅 기능을 제공한다. watch 모드를 통해 새로운 파일이 추가될 때마다 위키를 자동으로 업데이트하며, 지식 간의 모순이나 정보의 공백을 찾아내는 린팅 작업을 수행한다. 하나의 소스 문서가 입력될 때 평균 10~15개의 위키 페이지에 영향을 주며 지식을 정교하게 교차 합성한다.

용어 해설

트리 인덱싱(Tree Indexing): — 긴 문서를 계층적 구조로 인덱싱하여 각 노드마다 요약을 생성하는 기술이다. 표준적인 청킹 방식과 달리 문서의 전체적인 구조를 유지하며, LLM이 사람이 책을 훑어보듯 필요한 정보를 계층적으로 찾아낼 수 있게 돕는다.
위키링크(Wikilinks): — 문서 간의 상호 연결을 위해 사용하는 이중 대괄호 형태의 링크 방식이다. 지식 베이스 내의 서로 다른 개념이나 문서들을 유기적으로 연결하여 그래프 형태의 지식 구조를 형성하는 데 핵심적인 역할을 한다.
교차 문서 종합(Cross-document Synthesis): — 여러 개의 서로 다른 소스 문서로부터 정보를 추출하여 하나의 통합된 개념 페이지를 작성하거나 업데이트하는 과정이다. 단일 문서 요약을 넘어 지식 베이스 전체의 일관성을 유지하고 파편화된 정보를 통합하는 데 중요하다.

언급된 도구

OpenKB추천

문서를 구조화된 Markdown 위키로 컴파일하는 CLI 도구

LiteLLM추천

다양한 LLM API를 통합하여 호출할 수 있게 해주는 라이브러리

markitdown추천

다양한 포맷의 파일을 Markdown으로 변환해주는 도구

언급된 리소스

GitHubOpenKB GitHub