매번 RAG 파이프라인을 재구축하지 않기 위한 오픈소스 백엔드 구축 - 피드백 및 협업 환영

커뮤니티 반응

오픈 소스 기여와 피드백에 열려 있는 프로젝트로, 특히 멀티테넌트 설계 방식에 대한 관심이 높다.

주요 논점

01찬성다수

반복되는 RAG 구축 과정을 표준화된 백엔드로 대체하여 개발 효율성을 높일 수 있다.

합의점 vs 논쟁점

합의점

RAG 시스템의 핵심 워크플로우(청킹, 임베딩, 검색)를 재사용 가능한 모듈로 만드는 것이 유익하다.
멀티테넌트 환경에서 데이터 격리는 보안상 필수적인 요소이다.

논쟁점

무료 티어 인프라 사용으로 인한 콜드 스타트 문제와 웹소켓 미지원에 따른 실시간성 부족이 한계로 지적된다.

실용적 조언

Qdrant의 컬렉션 격리 기능을 활용하여 멀티테넌트 RAG 시스템의 데이터 보안을 강화할 수 있다.
LLM의 컨텍스트 윈도우를 동적으로 계산하여 검색 결과가 제한을 초과하지 않도록 관리해야 한다.

섹션별 상세

FastAPI 기반의 비동기 백엔드 구조를 채택하여 RAG 시스템의 인덱싱, 검색, 프롬프트 주입 과정을 자동화했다. asyncio를 활용해 백그라운드 작업을 처리하며, LangChain은 주로 AI 호출 오케스트레이션에 사용하고 실제 모델 호출은 공식 SDK를 선호하는 방식으로 설계했다.

IntelliChat 서비스의 랜딩 페이지 스크린샷 — Screenshot'Your Own RAG Chatbot Backend in 60 seconds'라는 문구와 함께 서비스의 핵심 가치와 기능을 시각적으로 보여준다. LLM/임베딩 키 업로드, 문서 기반 챗봇 구축 등 IntelliChat의 주요 워크플로우를 요약하여 제시한다.

SaaS 형태의 탐색을 위해 챗봇별 벡터 컬렉션 격리 및 API 키 암호화 등 멀티테넌트 아키텍처를 구현했다. Qdrant를 벡터 검색 엔진으로 사용하고 Supabase의 RLS(Row Level Security)를 통해 사용자 데이터와 인증을 관리하여 보안과 격리를 동시에 확보했다.

다양한 LLM의 컨텍스트 윈도우 제한이 다르다는 점을 고려하여 동적인 컨텍스트 윈도우 버젯팅 기능을 설계했다. 최근 대화 내용과 요약된 메모리를 프롬프트에 주입하는 컨텍스트 엔지니어링을 적용하고, 문서 점수 임계값에 따른 동적 필터링 전략을 통해 검색 품질을 관리한다.

개발 과정에서 멀티테넌트 아키텍처 설계와 청크 크기 대비 검색 품질의 균형을 맞추는 것이 가장 큰 기술적 과제였다. 특히 다른 챗봇을 위한 시스템 프롬프트를 생성하는 AI 어시스턴트 기능을 구현하는 과정에서 프롬프트 체이닝의 복잡도가 높았음을 언급했다.

용어 해설

검색 증강 생성(RAG): — 외부 데이터베이스에서 관련 정보를 검색하여 LLM의 답변 생성에 활용하는 기법이다. 모델의 지식 한계를 극복하고 최신 정보를 반영할 수 있게 하여 답변의 정확도와 신뢰성을 높이는 역할을 한다.
멀티테넌시(Multi-tenancy): — 단일 소프트웨어 인스턴스가 여러 사용자 그룹(테넌트)에게 서비스를 제공하면서도 각 사용자의 데이터를 엄격히 격리하는 아키텍처이다. SaaS 서비스 구축 시 데이터 보안과 효율적인 자원 관리를 위해 필수적이다.
컨텍스트 윈도우(Context Window): — LLM이 한 번에 처리할 수 있는 최대 토큰의 양을 의미한다. RAG 시스템에서는 검색된 문서와 대화 기록이 이 제한을 넘지 않도록 관리하는 버젯팅 전략이 성능 유지에 매우 중요하다.
벡터 검색(Vector Search): — 데이터를 다차원 벡터로 변환하여 의미적 유사성을 기반으로 정보를 찾는 방식이다. 키워드 매칭의 한계를 넘어 문맥적으로 가장 관련성이 높은 문서를 효율적으로 추출할 수 있게 한다.

언급된 도구

FastAPI추천

비동기 백엔드 서버 구축

LangChain중립

AI 호출 오케스트레이션

Qdrant추천

벡터 검색 및 데이터 격리

Redis추천

캐싱

Supabase추천

사용자 인증 및 데이터 관리

언급된 리소스

GitHubIntelliChat Repository

DemoIntelliChat App