Dokis: RAG 파이프라인을 위한 실시간 출처 검증 및 소스 허용 목록 관리 도구

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

RAG 파이프라인에서 LLM이 검색된 정보를 무시하고 근거 없는 답변을 생성하는 문제를 해결하기 위해 Dokis가 개발됐다. 이 도구는 리트리버와 LLM 응답 사이에 위치하여 실시간으로 출처의 정당성을 강제한다. 검색 전에는 허용된 도메인의 소스만 프롬프트에 포함되도록 필터링하고, 생성 후에는 답변을 문장 단위로 분해하여 원본 청크와의 일치 여부를 BM25 알고리즘으로 검증한다. LLM을 사용하지 않는 결정론적 방식을 채택하여 1ms 미만의 초저지연 성능을 제공하며, LangChain과 LlamaIndex 등 주요 프레임워크와의 통합을 지원한다.

배경

RAG(Retrieval-Augmented Generation) 파이프라인에 대한 기본 이해, Python 프로그래밍 및 LangChain/LlamaIndex 사용 경험, BM25 및 텍스트 유사도 측정 개념

대상 독자

프로덕션 환경에서 RAG 시스템의 신뢰성과 출처 투명성을 개선하고자 하는 AI 엔지니어

의미 / 영향

Dokis는 RAG 시스템의 신뢰성 검증을 오프라인 평가에서 실시간 런타임 강제로 전환하는 중요한 도구이다. 특히 LLM 비용과 지연 시간 증가 없이 결정론적인 출처 추적을 가능하게 함으로써, 기업용 AI 애플리케이션의 규제 준수와 품질 관리를 획기적으로 간소화할 수 있다.

섹션별 상세

RAG 시스템의 고질적인 문제인 근거 없는 답변 생성과 환각 현상을 실시간 인라인 검증으로 해결한다. 기존의 오프라인 평가 도구와 달리 사용자에게 답변이 전달되기 전 단계에서 즉각적으로 출처를 확인하고 차단할 수 있다.

python

import dokis
result = dokis.audit(query, chunks, response)
print(result.compliance_rate) # 0.91
print(result.passed) # True
print(result.provenance_map) # {"Aspirin inhibits...": "https://pubmed.com/1"}

Dokis를 사용하여 쿼리, 청크, 응답 간의 출처 일치율과 맵을 확인하는 기본 코드

Pre-retrieval 단계에서 소스 허용 목록(Allowlisting) 기능을 제공하여 신뢰할 수 없는 도메인의 데이터가 프롬프트에 주입되는 것을 사전에 방지한다. 이를 통해 데이터 오염으로 인한 잘못된 정보 생성을 원천적으로 차단한다.

Post-generation 단계에서는 답변을 원자적 문장으로 분리한 뒤 BM25 어휘 매칭 또는 시맨틱 유사도 측정을 통해 각 문장이 어떤 소스 청크에서 유래했는지 확인한다. 검증 결과로 문장별 출처 URL 맵과 전체 준수율(Compliance Rate)을 반환한다.

Dokis의 2단계 아키텍처 다이어그램 — Diagram소스 허용 목록을 관리하는 Layer 01과 생성된 주장의 출처를 검증하는 Layer 02의 흐름을 보여준다. 벡터 스토어에서 추출된 청크가 도메인 검증기를 거쳐 LLM으로 전달되고, 이후 감사 엔진이 문장별 출처 맵을 생성하는 과정을 시각화했다.

추가적인 LLM 호출이나 외부 API 요청 없이 순수 파이썬 로직과 BM25 알고리즘만으로 작동하여 결정론적인 결과를 보장한다. 벤치마크 결과 BM25 매칭 기준 호출당 지연 시간이 0.96ms에 불과하여 프로덕션 환경에 적합하다.

LangChain 및 LlamaIndex용 어댑터를 제공하여 기존 파이프라인에 단 두 줄의 코드 수정만으로 즉시 도입이 가능하다. CLI 도구와 비동기 미들웨어 패턴도 지원하여 다양한 배포 환경에서의 유연한 활용이 가능하다.

python

from dokis.adapters.langchain import ProvenanceRetriever
retriever = ProvenanceRetriever(
    base_retriever=your_existing_retriever,
    config=dokis.Config(allowed_domains=["pubmed.ncbi.nlm.nih.gov"]),
)
docs = retriever.invoke(query)

LangChain 어댑터를 사용하여 특정 도메인만 허용하는 출처 검증 리트리버를 구현하는 예시

Dokis CLI 작동 데모 영상 — Screenshot터미널에서 JSON 입력을 받아 실시간으로 출처 검증을 수행하고 준수율과 위반 사항을 출력하는 과정을 보여준다. 개발자가 로컬 환경에서 도구를 어떻게 조작하고 결과를 확인하는지 직관적으로 설명한다.

실무 Takeaway

의료나 법률 등 높은 신뢰성이 요구되는 RAG 서비스에서 Dokis의 도메인 허용 목록 기능을 사용해 검증된 소스만 답변 생성에 활용되도록 강제할 수 있다.
LLM 기반 가드레일 대신 BM25 매칭 방식을 채택함으로써 API 비용을 절감하고 전체 시스템의 응답 지연 시간을 1ms 수준으로 유지하며 출처 검증이 가능하다.
답변의 각 문장과 소스 URL이 매핑된 구조화된 데이터를 로그로 저장하여 향후 시스템 성능 평가 및 사용자 신뢰도 향상을 위한 근거 자료로 활용할 수 있다.

언급된 리소스

GitHubDokis GitHub Repository