규제 산업을 위한 RAG 봇 배포에서 얻은 교훈

작성자의 실전 경험 공유에 대해 긍정적인 반응이 주를 이루며, 특히 인프라 격리 방식과 쿼리 확장 전략에 대한 관심이 높다.

• 검색 품질을 높이려면 청크 크기 조절보다 LLM을 이용한 쿼리 확장을 먼저 시도하라.
• 사용자 질문에 문서 제목이 포함된 경우 의미론적 검색 결과와 상관없이 해당 문서 내용을 우선적으로 포함시켜라.
• 보안을 위해 시스템 프롬프트를 3단계로 계층화하여 고객의 커스텀 지시사항이 핵심 규칙을 덮어쓰지 못하게 하라.
• 특정 도메인 문서 질의에는 고가의 상용 임베딩 API 대신 all-MiniLM-L6-v2 같은 로컬 모델을 사용해 비용을 절감하라.

쿼리 확장(Query Expansion)

— 사용자의 원래 질문을 LLM을 통해 여러 유사한 질문으로 재구성하여 검색 범위를 넓히는 기법이다. 검색 엔진이 사용자의 의도를 더 정확하게 파악하고 도메인 특화 용어에 대한 검색 누락을 방지하는 데 기여한다.

임베딩 모델(Embedding Model)

— 텍스트 데이터를 고차원의 수치 벡터로 변환하여 컴퓨터가 의미적 유사성을 계산할 수 있게 만드는 모델이다. RAG 시스템에서 문서와 질문 간의 관련성을 측정하는 핵심 구성 요소이다.

탈옥(Jailbreaking)

— LLM에 설정된 안전 가이드라인이나 제약 사항을 우회하여 모델이 금지된 답변을 하도록 유도하는 공격 기법이다. 시스템 프롬프트를 정교하게 설계하여 이러한 악의적인 입력을 차단하는 것이 중요하다.

벡터 데이터베이스(Vector Database)

— 임베딩 모델을 통해 생성된 벡터 데이터를 저장하고 유사도 기반 검색을 수행하는 특수 데이터베이스이다. 대규모 문서 집합에서 질문과 가장 유사한 정보를 빠르게 찾아내는 역할을 한다.