1990년대 스타일로 기술 문서를 작성하도록 LLM 파인튜닝하기

섹션별 상세

저자는 1977년부터 2005년까지 발행된 Microsoft 기술 문서 3700만 단어를 수집하여 학습 데이터셋을 구축했다. Python 스크립트로 노이즈를 제거하고, gemma-4-26b 모델을 사용해 문단별 유효성을 분류하여 19만여 개의 학습 예제를 생성했다.

근거

Microsoft 기술 문서 컬렉션은 1977년부터 2005년까지 발행된 3700만 단어 이상의 데이터를 포함한다. — Meet Bitsavers 섹션

파인튜닝에는 QLoRA 기법을 적용하여 모델 가중치를 동결하고 어댑터를 학습시키는 방식을 사용했다. Runpod의 Nvidia B200 GPU를 활용해 Llama 3.1 8B와 Qwen 2.5 7B 모델을 대상으로 다양한 rank와 epoch 조건에서 실험했다.

실험 결과, rank 8과 같은 낮은 차원의 어댑터는 반복적인 패턴을 강하게 학습하여 1990년대 스타일을 더 잘 유지했다. 반면 rank 16 이상의 높은 차원에서는 모델이 학습 데이터의 제약을 벗어나 현대적인 문체로 회귀하거나 환각을 일으키는 경향이 확인됐다.

근거

rank 16 어댑터는 rank 8보다 학습 데이터의 제약을 벗어나기 쉽다. — The rank comparison shows that smaller adapters... commit to fiction more readily than larger ones; a rank 16 adapter can 'escape' the corpus more easily.

Qwen 2.5 7B 모델은 Llama 3.1보다 1990년대 기술 문서의 구조와 어조를 더 효과적으로 재현했다. 특히 192k 예제로 학습한 모델은 존재하지 않는 API에 대해서도 당시의 기술 문서 형식을 완벽하게 모방하는 결과를 보였다.

QLoRA: — Quantized Low-Rank Adaptation의 약자로, LLM의 전체 가중치를 수정하는 대신 저순위 행렬을 학습시켜 파인튜닝 효율을 극대화하는 기법. 메모리 사용량을 줄이면서도 효과적인 스타일 전이가 가능하다.
랭크(Rank): — LoRA 어댑터 행렬의 차원. 이 값이 낮을수록 학습 가능한 패턴의 수가 제한되어 특정 스타일을 강하게 고수하게 되며, 높을수록 표현력이 좋아지지만 스타일 유지력이 약해질 수 있다.
GGUF: — GPT-Generated Unified Format의 약자로, LLM을 로컬에서 효율적으로 실행하기 위해 설계된 파일 형식. Ollama 등 다양한 추론 엔진에서 모델을 구동할 때 사용된다.