Llama 3.1 8B(QLoRA)로 고전 작품 파인튜닝 후 인용 정확성 문제와 RAG 적용 경험

작성자는 Llama 3.1 8B 모델을 QLoRA로 단일 T4에서 파인튜닝해 19세기 작가의 전체 저작을 도메인화한 프로젝트를 공유했다. 파인튜닝 입력으로 전체 코퍼스와 약 4.9k의 잘 구조화된 Q&A를 사용했고, 모델은 인용의 '형식'과 톤을 일관되게 생성하는 데 성공했으나 특정 장·항목 번호 같은 세부적 출처 정확성은 자주 틀렸다. 파인튜닝은 패턴·문체를 학습하는 데 강점이 있고, 실행 흐름은 코퍼스·Q&A → QLoRA 파인튜닝 → 생성 출력으로 정리된다. 그러나 내부 메모리만으로 원문 위치를 정확히 보장하기 어렵기 때문에 운영 환경에서는 동일 코퍼스를 대상으로 한 검색 기반 RAG 파이프라인을 도입해 검색 결과를 근거로 답변하도록 설계했다. 이런 역할 분담으로 모델은 톤을 유지하고 검색은 사실성을 제공한다. 결론적으로 작은 모델 파인튜닝은 스타일·형식 교정에 유효하지만 정확한 근거 표기가 요구되는 워크로드에서는 RAG 같은 검색 보강이 현실적이고 신뢰할 만한 해법이다. 프로젝트 자료와 모델은 Hugging Face에 오픈(라이선스: Apache-2.0)되어 있다.