다국어 및 코드 혼용 문서를 위한 SmartDocs RAG 파이프라인 구축기

작성자가 공유한 구체적인 벤치마크 수치와 아키텍처 설계에 대해 긍정적인 반응이며, 특히 다국어 처리의 고질적인 문제들을 실무적으로 해결했다는 점이 높게 평가받고 있다.

• 힌디어 등 인도 계열 언어를 다룰 때는 유니코드 스크립트 블록에 맞춘 Indic-aware 토큰화 설정을 확인하라.
• 검색 결과 융합 시 RRF의 k값을 60으로 설정하여 밀집 검색과 희소 검색의 균형을 맞추는 것이 효과적이다.
• 로컬 RTX 하드웨어에서 LangGraph를 활용해 상태 기반의 에이전틱 RAG를 구현하여 비용을 절감하고 제어력을 높일 수 있다.

RAGAS 평가 프레임워크(RAGAS)

— RAG(검색 증강 생성) 파이프라인의 성능을 측정하기 위한 오픈소스 프레임워크이다. 답변의 성실성(Faithfulness), 답변 관련성, 컨텍스트 정밀도 등을 지표화하여 시스템의 신뢰성을 객관적으로 평가하는 데 사용된다.

상호 순위 결합(RRF)

— Reciprocal Rank Fusion의 약자로, 서로 다른 검색 알고리즘(예: 키워드 기반 BM25와 의미 기반 밀집 검색)의 결과를 통합하는 기법이다. 각 결과의 순위 역수를 합산하여 최종 순위를 결정함으로써 검색 결과의 상호 보완성을 극대화한다.

NFKC 정규화(NFKC Normalization)

— 유니코드 문자를 호환성 및 정준 등가성에 따라 표준 형식으로 변환하는 과정이다. PDF 추출 시 발생하는 보이지 않는 유니코드 변이(ZWJ/ZWNJ 등)를 제거하여 검색 시 텍스트 일치율을 높이는 데 필수적이다.

코드 혼용 텍스트(Code-mixed Text)

— 한 문장 내에서 두 개 이상의 언어(예: 힌디어와 영어)가 섞여 사용되는 텍스트 형태이다. 일반적인 임베딩 모델의 분포를 벗어나기 때문에 다국어 RAG 시스템 구축 시 검색 정확도를 떨어뜨리는 주요 원인이 된다.