axoviq-ai/synthadoc
Python0 / 0
원문 문서들을 LLM으로 수집 시점에 합성해 출처가 있는 로컬 Markdown 위키로 변환하고 모순 감지와 감사 추적을 자동화하는 오픈소스 엔진이다.
TL;DR
로컬 우선 설계의 오픈소스 엔진으로서 Synthadoc은 PDF, PPT, 웹 페이지, 영상 자막 등 다양한 원천을 병렬 인제스트해 LLM으로 인제스트 시점에 구조화된 Markdown 위키를 생성한다. 생성 과정에서 문장 수준의 출처 인용을 남기고 위키 그래프를 구성해 모순을 탐지하며 5단계 라이프사이클과 감사 로그로 컴플라이언스와 비용 관리를 지원한다. Obsidian 플러그인, Web UI, CLI, MCP 서버를 통해 접근 경로를 다변화하고 BM25 기반 검색에 벡터 재정렬을 결합해 쿼리 정확도를 개선하며 로컬 모델이나 외부 LLM 공급자 선택을 통해 배포 유연성을 확보한다. 제약으로는 LLM API 키 또는 로컬 모델용 GPU가 필요할 수 있고 Web UI가 기본적으로 로컬 전용으로 바인딩되어 원격 접근이나 중앙 클라우드 서비스 의존성을 제거하는 대신 중앙관리 편의성은 별도 구성으로 보완해야 한다.
핵심 포인트
- 인제스트 시점 합성을 기본 설계로 채택해 질의마다 요약을 새로 생성하는 방식 대신 위키를 사전 구축한다. 이 방식은 모순 탐지와 링크 밀도의 일관성 유지에 유리하며 오프라인에서도 위키를 읽고 편집할 수 있는 영구적 산출물을 만든다. 또한 자동 스캐폴드와 AGENTS.md 생성으로 위키 확장 시 규격화된 에이전트 스킬 문서를 유지한다.
- 출처 추적을 문장 수준까지 유지하는 citation-by-file:L-L 표기법과 PDF 페이지 해상도 보존을 통합해 각 주장에 대해 정확한 페이지·라인 단위 근거를 남긴다. 인용 검증 실패 시 린트에서 경고를 남기며 감사 로그에서 토큰 사용량과 비용 이벤트를 연계해 컴플라이언스 요구사항을 충족한다. 이로 인해 규정 준수와 감사 추적이 중요한 환경에서 재현 가능성이 높다.
- 로컬 퍼스트 아키텍처로 위키는 기본적으로 localhost 바인딩만 허용하며 클라우드 종속을 배제한다. LLM 제공자는 유연하게 교체 가능하며 Ollama 같은 로컬 모델도 지원하지만 로컬 실행 시 GPU 요구사항이 따르는 점을 구성에서 명확히 분리한다. 이 설계는 데이터 유출 위험을 줄이고 내부 정책에 맞는 배포를 가능하게 한다.
- 다양한 원천 포맷을 병렬로 인제스트해 각 소스에서 추출한 발췌를 LLM 합성 프로세스로 연결하고 로컬 Markdown 페이지로 저장한다. 이 과정에서 페이지 간 [[wikilinks]]를 자동 생성해 위키 그래프의 엣지를 구축하며 PDF 페이지 단위 인용과 타임스탬프 기반 인용을 보존한다. 인제스트 작업은 잡 큐에 저장되어 재시작이나 충돌 이후에도 재개가 가능하다.
이미지 분석

971
Stars
121
Forks
+205
Trending
0
조회수
971 watchers6 open issuesGNU Affero General Public License v3.0
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.