엔진 교체 및 3D 지식 그래프를 지원하는 셀프 호스팅 멀티모달 RAG 대시보드

커뮤니티 반응

작성자의 첫 공개 프로젝트임에도 불구하고 구체적인 기술 스택과 컨테이너화된 배포 방식을 제공하여 긍정적인 관심을 받았다. 특히 수식과 표 처리에 특화된 점과 3D 그래프 시각화 기능이 유용하다는 평가가 주를 이루었다.

실용적 조언

PDF 내 수식이나 표가 중요한 학술 문서를 다룰 경우 MinerU와 같은 전문 추출 도구를 RAG 파이프라인에 통합하는 것이 유리하다.
인프라 상황에 맞춰 LLM_ENGINE 환경 변수를 활용해 로컬(Ollama)과 서버(vLLM) 백엔드를 유연하게 전환하여 운영할 수 있다.
GPU 자원이 부족한 환경에서는 CPU 기반으로 작동하는 BGE-Reranker를 활용해 검색 품질을 보완할 수 있다.

섹션별 상세

멀티모달 문서 처리와 지식 그래프 구축을 위해 MinerU와 Neo4j를 활용했다. MinerU를 통해 PDF에서 단순 텍스트뿐만 아니라 이미지, 표, 수식을 추출하여 데이터의 손실을 최소화한다. 추출된 데이터는 Neo4j에 저장되어 사용자가 UI 상에서 3D 그래프 형태로 데이터 간의 관계를 직관적으로 탐색할 수 있도록 구현됐다.

다양한 LLM 백엔드와의 호환성을 위해 환경 변수 기반의 엔진 스위칭 기능을 도입했다. 사용자는 코드 수정이나 재빌드 없이 LLM_ENGINE 변수 설정만으로 Ollama, vLLM, llama.cpp, LM Studio, OpenAI API 중 하나를 선택할 수 있다. 특히 OpenAI 호환 API를 지원하여 Groq나 DeepSeek 같은 외부 서비스도 즉시 연동 가능하다는 점이 특징이다.

bash

LLM_ENGINE=ollama # Ollama 사용 시
# 또는
LLM_ENGINE=vllm   # vLLM 사용 시
# 또는
LLM_ENGINE=openai # OpenAI 및 호환 API 사용 시

환경 변수 설정을 통해 코드 수정 없이 LLM 추론 엔진을 즉시 교체하는 예시

검색 정확도 향상을 위해 BAAI/bge-reranker-v2-m3 모델을 내장 리랭커로 사용한다. 이 모델은 컨테이너 내부에서 CPU로 실행되도록 설계되어 별도의 GPU 자원 없이도 작동하며, 외부 리랭킹 서비스가 있을 경우 API 엔드포인트 연결로 대체할 수 있다. 이는 저사양 환경에서도 고성능 RAG 시스템을 운영할 수 있게 돕는 실무적인 설계이다.

용어 해설

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 답변 생성에 활용하는 기법이다. 모델의 학습 데이터에 없는 최신 정보나 특정 도메인 지식을 반영하여 할루시네이션을 줄이고 답변의 정확도를 높이는 데 핵심적인 역할을 한다.
지식 그래프(Knowledge Graph): — 개체 간의 관계를 노드와 엣지로 연결하여 표현하는 데이터 구조이다. RAG 시스템에서 단순 텍스트 검색의 한계를 넘어 데이터 간의 복잡한 맥락과 연결 고리를 파악하여 더 깊이 있는 정보를 추출하는 데 사용된다.
리랭커(Reranker): — 초기 검색 단계에서 추출된 후보 문서들의 관련성을 정밀하게 다시 계산하여 순위를 재조정하는 모델이다. 검색 결과의 노이즈를 제거하고 가장 적합한 정보를 상단에 배치함으로써 최종 답변의 품질을 크게 향상시킨다.
멀티모달(Multimodal): — 텍스트, 이미지, 표, 수식 등 서로 다른 형태의 데이터를 동시에 처리하고 이해하는 기술이다. 이 프로젝트에서는 PDF 내의 단순 텍스트뿐만 아니라 시각적 요소들을 추출하여 지식 베이스로 통합하는 데 활용된다.

언급된 도구

MinerU추천

PDF에서 텍스트, 이미지, 표, 수식을 추출하는 멀티모달 데이터 파싱

LightRAG추천

지식 그래프 기반의 RAG 프레임워크

Neo4j추천

지식 그래프 데이터 저장 및 3D 시각화 백엔드

Ollama추천

로컬 LLM 추론 엔진

vLLM추천

고성능 LLM 추론 및 서빙 엔진

언급된 리소스

GitHubThe Brain GitHub Repository