도메인 특화 임베딩 모델을 하루 만에 구축하는 방법

일반적인 임베딩 모델은 특정 도메인의 전문 지식이나 내부 용어를 이해하는 데 한계가 있어 RAG 시스템의 성능 저하를 초래한다. NVIDIA는 수동 데이터 라벨링 없이 LLM 기반의 합성 데이터 생성(SDG)과 하드 네거티브 마이닝을 결합하여 단일 GPU로 하루 만에 도메인 특화 모델을 만드는 파이프라인을 공개했다. 이 프로세스는 데이터 생성부터 파인튜닝, 평가, 그리고 NVIDIA NIM을 통한 배포까지 전 과정을 자동화한다. 실제 사례에서 Atlassian은 Jira 데이터셋에 이 기법을 적용하여 검색 성능을 26% 이상 개선했다.