파인튜닝에서 데이터 확보의 어려움과 git2llm이라는 커밋 정제 도구

파인튜닝에서 가장 큰 난제는 고품질 학습 데이터의 확보이며 작성자는 개인의 Git 커밋 히스토리가 코드 모델을 진짜 개인화하는 핵심 자원이라고 보았다. 이를 위해 git2llm이라는 CLI와 Python 라이브러리를 만들었고 병렬 크롤링 후 병합 커밋·봇 노이즈 제거, WIP·자동생성 필터링, MinHash LSH로 근사 중복 제거를 포함한 4단계 정제 과정을 통해 Alpaca/ShareGPT 형식의 SFT 입력을 생성한다고 기술되었다. 자체 실험에서는 파이프라인이 원시 커밋의 78%를 제거했고, 정제된 데이터를 QLoRA+Unsloth 파이프라인으로 파인튜닝했을 때 도메인별 코드 스타일과 패턴이 모델에 반영되었으나 데이터 양이 적어 초기 과적합이 발생했다. 이 도구는 오픈소스로 공개되어 확장성(다중 레포 크롤링, CI 통합, GitLab 지원)과 엣지 케이스 테스트를 위한 기여자를 모집하고 있다.