엔진 교체 및 3D 지식 그래프를 지원하는 셀프 호스팅 멀티모달 RAG 대시보드

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

LightRAG와 Neo4j를 기반으로 수식·표 추출, 3D 지식 그래프 시각화, 다양한 LLM 엔진 전환을 지원하는 컨테이너화된 RAG 솔루션입니다.

배경

수학 공식과 표가 많은 학술 문서를 효율적으로 처리하기 위해 기존 스크립트 방식 대신 LightRAG와 Neo4j를 결합한 통합 RAG 대시보드를 직접 개발하여 공유했다.

의미 / 영향

이 프로젝트는 단순 텍스트 검색을 넘어 지식 그래프와 멀티모달 데이터 추출을 결합한 고도화된 RAG 아키텍처의 실무적 구현을 보여준다. 다양한 추론 엔진 지원과 컨테이너 기반 배포는 개발자가 자신의 환경에 맞춰 RAG 시스템을 빠르게 구축하고 실험할 수 있는 유연성을 제공한다.

커뮤니티 반응

작성자의 첫 공개 프로젝트임에도 불구하고 구체적인 기술 스택과 컨테이너화된 배포 방식을 제공하여 긍정적인 관심을 받았다. 특히 수식과 표 처리에 특화된 점과 3D 그래프 시각화 기능이 유용하다는 평가가 주를 이루었다.

실용적 조언

PDF 내 수식이나 표가 중요한 학술 문서를 다룰 경우 MinerU와 같은 전문 추출 도구를 RAG 파이프라인에 통합하는 것이 유리하다.
인프라 상황에 맞춰 LLM_ENGINE 환경 변수를 활용해 로컬(Ollama)과 서버(vLLM) 백엔드를 유연하게 전환하여 운영할 수 있다.
GPU 자원이 부족한 환경에서는 CPU 기반으로 작동하는 BGE-Reranker를 활용해 검색 품질을 보완할 수 있다.

섹션별 상세

멀티모달 문서 처리와 지식 그래프 구축을 위해 MinerU와 Neo4j를 활용했다. MinerU를 통해 PDF에서 단순 텍스트뿐만 아니라 이미지, 표, 수식을 추출하여 데이터의 손실을 최소화한다. 추출된 데이터는 Neo4j에 저장되어 사용자가 UI 상에서 3D 그래프 형태로 데이터 간의 관계를 직관적으로 탐색할 수 있도록 구현됐다.

다양한 LLM 백엔드와의 호환성을 위해 환경 변수 기반의 엔진 스위칭 기능을 도입했다. 사용자는 코드 수정이나 재빌드 없이 LLM_ENGINE 변수 설정만으로 Ollama, vLLM, llama.cpp, LM Studio, OpenAI API 중 하나를 선택할 수 있다. 특히 OpenAI 호환 API를 지원하여 Groq나 DeepSeek 같은 외부 서비스도 즉시 연동 가능하다는 점이 특징이다.

bash

LLM_ENGINE=ollama # Ollama 사용 시
# 또는
LLM_ENGINE=vllm   # vLLM 사용 시
# 또는
LLM_ENGINE=openai # OpenAI 및 호환 API 사용 시

환경 변수 설정을 통해 코드 수정 없이 LLM 추론 엔진을 즉시 교체하는 예시

검색 정확도 향상을 위해 BAAI/bge-reranker-v2-m3 모델을 내장 리랭커로 사용한다. 이 모델은 컨테이너 내부에서 CPU로 실행되도록 설계되어 별도의 GPU 자원 없이도 작동하며, 외부 리랭킹 서비스가 있을 경우 API 엔드포인트 연결로 대체할 수 있다. 이는 저사양 환경에서도 고성능 RAG 시스템을 운영할 수 있게 돕는 실무적인 설계이다.

실무 Takeaway

MinerU를 활용해 PDF 내 수식과 표를 정밀하게 추출하는 멀티모달 RAG 파이프라인 구축
Neo4j 기반의 3D 지식 그래프 시각화를 통한 데이터 간 맥락적 관계 탐색 기능 제공
환경 변수 설정만으로 Ollama, vLLM 등 5가지 이상의 LLM 엔진을 즉시 교체 가능
CPU 기반 리랭커(BGE-Reranker) 내장으로 추가 GPU 부담 없이 검색 성능 최적화

언급된 도구

MinerU추천

PDF에서 텍스트, 이미지, 표, 수식을 추출하는 멀티모달 데이터 파싱

LightRAG추천

지식 그래프 기반의 RAG 프레임워크

Neo4j추천

지식 그래프 데이터 저장 및 3D 시각화 백엔드

Ollama추천

로컬 LLM 추론 엔진

vLLM추천

고성능 LLM 추론 및 서빙 엔진

언급된 리소스

GitHubThe Brain GitHub Repository