llmfood: Docusaurus 문서를 LLM 친화적인 Markdown으로 변환하는 도구

섹션별 상세

Docusaurus의 정적 HTML 구조에서 핵심 본문만 추출하는 것이 어렵다는 문제가 있었다. llmfood는 HTML 빌드 디렉토리를 스캔하여 네비게이션 바나 푸터 같은 요소를 제거하고 순수 콘텐츠만 Markdown으로 변환한다. 이를 통해 LLM의 컨텍스트 윈도우 낭비를 줄이고 정보 밀도를 높인다.

정적 HTML 빌드 시 누락되는 클라이언트 사이드 렌더링 콘텐츠 처리가 핵심 기능이다. 소스 디렉토리의 MDX 파일을 직접 스캔하여 GitHub 코드 참조, Mermaid 다이어그램, 원격 콘텐츠 등을 실제 텍스트로 치환하여 저장한다. 결과적으로 LLM이 다이어그램 구조나 외부 코드의 실제 내용을 파악할 수 있게 된다.

LLM 생태계의 표준인 llms.txt 규격을 자동으로 생성하여 문서 인덱싱을 자동화한다. 모든 변환된 .md 파일에 대한 구조화된 링크를 포함하며, 특정 패턴의 문서를 하나로 합친 llms-full.txt 같은 커스텀 파일 생성도 지원한다. 이는 RAG 시스템에서 전체 문서를 한 번에 로드하거나 검색할 때 유용하다.

Docusaurus 전용 요소들에 대한 정교한 변환 엔진을 탑재하고 있다. Prism 구문 강조, 경고창(Admonitions), 탭(Tabs), KaTeX 수식 등을 각각 적절한 Markdown 문법이나 HTML 태그로 변환하여 의미 손실을 방지한다. 특히 복잡한 표(Table)나 YouTube 임베드 링크도 표준 GFM 형식으로 변환하여 호환성을 보장한다.

기술

Docusaurus
Markdown
Node.js
Mermaid
KaTeX
Prism

활용 사례

RAG 데이터 준비
LLM용 문서 인덱싱
기술 문서 변환

언급된 리소스

GitHubllmfood GitHub Repository