싱가포르 법률 및 정책 문서를 위한 오픈소스 RAG 엔진 'Explore Singapore'

실용적 조언

LLM 서비스의 안정성을 위해 단일 API에 의존하지 말고 여러 모델을 계층적으로 배치하는 장애 조치 로직을 구현하는 것이 좋다.
다양한 모델을 혼용할 때는 각 모델의 토큰 처리 방식과 페르소나를 고려하여 전용 시스템 프롬프트를 작성해야 한다.

섹션별 상세

싱가포르의 법률 및 정책 문서 594개, 약 33,000페이지에 달하는 방대한 데이터를 RAG 아키텍처로 구축했다. 사용자가 정부 웹사이트에서 긴 PDF를 직접 읽지 않고도 필요한 법률 정보를 빠르고 정확하게 얻을 수 있도록 설계했다. 대규모 문서를 효율적으로 검색하기 위해 텍스트 추출 및 벡터화 과정을 거쳐 지능형 엔진을 완성했다.

시스템 안정성을 확보하기 위해 '래더(Ladder) 시스템'이라는 장애 조치 로직을 도입했다. 기본 모델인 Gemini가 응답에 실패하면 OpenRouter API로 쿼리를 전달하고, 이마저 실패할 경우 Groq를 통해 답변을 생성하여 서비스 중단을 방지한다. 이러한 계층적 구조는 API의 속도 제한이나 일시적 장애 상황에서도 사용자에게 끊김 없는 경험을 제공한다.

서로 다른 LLM이 가진 고유한 페르소나와 특성을 관리하기 위해 모델별로 최적화된 지시문을 적용했다. 각 모델이 동일한 맥락에서 일관된 품질의 답변을 내놓을 수 있도록 시스템 프롬프트를 개별적으로 구성하여 운영한다. 이는 모델 교체 시에도 답변의 톤앤매너와 정확도를 일정하게 유지하기 위한 핵심적인 전략이다.

용어 해설

검색 증강 생성(RAG): — 검색 증강 생성(Retrieval-Augmented Generation)은 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 답변 생성에 활용하는 기술이다. 모델의 할루시네이션을 줄이고 최신 정보를 반영하는 데 필수적이며, 법률 문서와 같은 방대한 데이터에서 정확한 근거를 찾는 데 사용된다.
장애 조치(Failover): — 장애 조치(Failover)는 시스템의 한 구성 요소가 실패했을 때 예비 시스템으로 자동 전환되는 메커니즘이다. LLM API의 불안정성이나 속도 제한 문제를 해결하기 위해 여러 모델을 계층적으로 배치하여 서비스의 연속성과 가용성을 보장하는 설계 방식이다.
데이터 수집 및 처리(Ingestion): — 데이터 수집 및 처리(Ingestion)는 비정형 데이터인 PDF 등을 텍스트로 추출하고 의미 단위로 분할하여 벡터 데이터베이스에 저장하는 과정이다. 33,000페이지에 달하는 대규모 문서를 검색 가능한 형태로 변환하는 RAG 시스템의 핵심적인 전처리 단계이다.
오픈라우터(OpenRouter): — 오픈라우터(OpenRouter)는 다양한 오픈소스 및 상용 LLM API를 하나의 인터페이스로 통합하여 제공하는 서비스이다. 개발자가 코드 수정 없이 여러 모델을 쉽게 교체하거나 장애 시 대체 모델로 전환할 수 있게 해주어 시스템 유연성을 높여준다.

언급된 도구

Gemini추천

기본 응답 생성을 위한 메인 LLM

OpenRouter추천

Gemini 장애 시 대체 모델 연결을 위한 API 통합 인터페이스

Groq추천

최종 단계의 장애 조치를 위한 고속 추론 엔진

언급된 리소스

DemoExplore Singapore Webpage

GitHubExplore Singapore GitHub Repository