도메인 특화 임베딩 모델을 하루 만에 구축하는 방법

섹션별 상세

NVIDIA NeMo Data Designer를 활용한 합성 데이터 생성(SDG) 단계에서는 LLM이 도메인 문서를 분석하여 사실적 질문뿐만 아니라 여러 문서의 정보를 조합해야 하는 멀티홉(Multi-hop) 질문-답변 쌍을 자동으로 생성한다.

bash

nemotron embed sdg -c default corpus_dir=./data/my_domain_docs

도메인 문서로부터 합성 질문-답변 쌍을 생성하는 명령어

하드 네거티브 마이닝(Hard Negative Mining)은 정답과 유사해 보이지만 실제로는 오답인 구절을 찾아내어 모델이 미세한 의미 차이를 구분하도록 학습시키며, 95% 마진 필터를 통해 오라벨링 위험을 방지한다.

bash

nemotron embed prep -c default

데이터 분할 및 하드 네거티브 마이닝을 수행하는 데이터 준비 명령어

Llama-Nemotron-Embed-1B-v2 모델을 기반으로 0.02의 공격적인 온도 파라미터를 적용한 대조 학습(Contrastive Learning)을 수행하여 모델이 정답과 오답을 명확히 구분하도록 최적화한다.

BEIR 프레임워크를 사용해 nDCG@10 및 Recall@10 지표로 파인튜닝 전후의 성능을 정밀하게 비교하며, 일반적으로 10~15% 이상의 성능 향상이 관찰된다.

bash

nemotron embed finetune -c default

대조 학습을 통해 임베딩 모델을 파인튜닝하는 명령어

최종 학습된 모델은 ONNX 또는 TensorRT로 변환되어 NVIDIA NIM 컨테이너를 통해 OpenAI 호환 API 형태로 즉시 배포되며, 기존 RAG 파이프라인에 코드 수정 없이 통합 가능하다.

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 대형 언어 모델의 답변 생성에 활용하는 기술이다. 모델의 내부 지식 한계를 극복하고 최신 정보나 도메인 특화 정보를 제공하는 데 필수적이다.
하드 네거티브 마이닝(Hard Negative Mining): — 정답과 유사해 보이지만 실제로는 오답인 데이터를 학습 과정에서 의도적으로 추출하는 기법이다. 모델이 미세한 의미 차이를 구분하도록 강제하여 검색의 변별력을 높인다.
대조 학습(Contrastive Learning): — 유사한 데이터 쌍은 벡터 공간에서 가깝게 배치하고, 서로 다른 데이터 쌍은 멀게 배치하도록 학습하는 방식이다. 임베딩 모델이 의미적 유사성을 학습하는 핵심 메커니즘이다.
멀티홉 쿼리(Multi-hop Query): — 단일 문서의 정보만으로는 답변할 수 없고 여러 문서 조각에 흩어진 정보를 조합해야 해결 가능한 복잡한 질문이다. 고도화된 RAG 시스템의 성능을 평가하는 주요 척도이다.
정규화된 절단 누적 이득(nDCG): — 검색 결과의 순위 정확도를 측정하는 지표로, 관련성이 높은 문서가 상단에 위치할수록 높은 점수를 부여한다. 검색 시스템의 품질을 평가하는 표준 벤치마크 지표이다.