LLM 파인튜닝의 병목: 데이터 준비 시간을 73%에서 획기적으로 줄이는 방법

LLM 파인튜닝 엔지니어들은 전체 작업 시간의 약 73%를 데이터 수집 및 정제에 소비하며, 이는 실제 학습보다 훨씬 많은 자원을 소모하는 비효율적인 과정이다. 필자는 이를 해결하기 위해 스키마 표준화, MinHash 기반 중복 제거, 언어 및 일관성 필터링을 포함한 4단계 자동화 파이프라인을 구축했다. 실험 결과, 데이터 양을 14% 줄였음에도 HumanEval 점수가 4.2점 상승하는 등 데이터 품질이 모델 성능에 직결됨을 확인했다. 이 파이프라인은 데이터 준비의 번거로움을 제거하고 엔지니어가 모델 학습 본연의 작업에 집중할 수 있게 돕는다.