이슬람 금융 RAG 구축 과정에서 배운 할루시네이션 방지 교훈

작성자의 기술적 접근 방식에 대해 긍정적인 반응이며, 특히 유사도 임계값 설정 수치에 대한 논의가 이루어지고 있습니다.

• 유사도 점수가 낮을 때 LLM 호출을 생략하는 하드코딩된 거부 로직을 추가하세요.
• 스캔된 PDF 대신 가능한 경우 trafilatura를 사용하여 HTML 소스에서 텍스트를 추출하세요.
• Hugging Face Spaces 사용 시 FAISS 인덱스를 별도 데이터셋에 백업하고 시작 시 로드하세요.

RAG

— 외부 데이터베이스에서 관련 정보를 검색하여 LLM의 입력 프롬프트에 주입하는 기술이다. 모델이 학습하지 않은 최신 정보나 특정 도메인 지식을 바탕으로 답변하게 하여 할루시네이션을 줄이는 역할을 한다.

Cosine Similarity

— 두 벡터 간의 각도를 이용하여 유사성을 측정하는 지표이다. RAG 시스템에서 사용자 질문과 문서 청크 간의 의미적 유사성을 수치화하여 가장 관련성 높은 정보를 찾는 데 사용된다.

Hallucination

— AI 모델이 사실이 아니거나 문맥에 맞지 않는 정보를 그럴듯하게 생성하는 현상이다. 고위험 도메인에서는 잘못된 정보 제공이 심각한 결과를 초래할 수 있어 이를 제어하는 것이 핵심 과제이다.

OCR

— 이미지나 스캔된 문서 내의 텍스트를 기계가 읽을 수 있는 데이터로 변환하는 기술이다. 본문에서는 스캔된 PDF 문서를 처리할 때 텍스트 추출의 정확도를 결정하는 중요한 전처리 단계로 언급됐다.