LLM 파인튜닝의 병목: 데이터 준비 시간을 73%에서 획기적으로 줄이는 방법

섹션별 상세

파인튜닝 프로젝트에서 데이터 준비가 차지하는 비중이 지나치게 높다. 11개 프로젝트를 분석한 결과 데이터 찾기, 정제, 포맷 변환 등에 시간의 73%가 소요되었으며 실제 학습은 25%에 불과했다. 이는 단순 반복 작업이 엔지니어의 생산성을 저해하는 주요 원인임을 시사한다.

공개 데이터셋의 중복 문제가 예상보다 심각하여 모델의 일반화 성능을 떨어뜨린다. MinHash와 Jaccard 유사도(0.85)를 적용해 분석한 결과, 대형 데이터셋의 경우 최대 28%가 중복 또는 유사 샘플로 나타났다. 중복을 제거한 50K 코딩 데이터셋으로 학습한 LoRA 어댑터가 원본보다 HumanEval에서 4.2% 높은 점수를 기록하며 품질의 중요성을 입증했다.

효율적인 데이터 준비를 위해 4단계 자동화 파이프라인을 설계했다. 스키마 표준화, 중복 제거, 품질 필터링(길이, 밀도, 언어, 일관성), 그리고 최종 수동 점검으로 구성된다. 특히 응답(Response) 필드를 기준으로 중복을 체크하고 임베딩 유사도로 지시어와 응답의 일관성을 검증하여 데이터의 신뢰도를 높였다.

데이터 포맷의 불일치가 파인튜닝의 숨은 마찰 지점이다. 각기 다른 데이터셋의 컬럼명과 구조를 JSONL 형식의 표준 스키마(instruction, response 등)로 강제 변환했다. 이를 통해 데이터셋 교체 시마다 변환 스크립트를 새로 작성할 필요가 없어 작업 시간을 획기적으로 단축했다.

용어 해설

저순위 어댑션(LoRA): — 대형 언어 모델의 전체 가중치를 수정하는 대신, 저순위 분해 행렬만을 학습시켜 파라미터 수를 획기적으로 줄이는 효율적인 파인튜닝 기법이다. 적은 메모리와 연산 자원으로도 특정 도메인에 특화된 모델을 만들 수 있어 실무에서 널리 사용된다.
민해시(MinHash): — 대규모 데이터셋에서 두 집합 간의 유사도를 빠르게 추정하기 위해 사용하는 확률적 알고리즘이다. 모든 데이터를 전수 비교하는 대신 해시 값을 비교하여 유사한 문서를 찾아내므로 중복 데이터 제거 작업의 효율성을 극대화한다.
자카드 유사도(Jaccard Similarity): — 두 집합 사이의 공통 원소 비율을 통해 유사성을 측정하는 지표로, 교집합의 크기를 합집합의 크기로 나누어 계산한다. 텍스트 데이터의 중복 여부를 판단할 때 기준치로 활용되며, 본문에서는 0.85를 임계값으로 설정하여 유사 샘플을 식별했다.
JSON 라인(JSONL): — 한 줄에 하나의 JSON 객체를 저장하는 파일 형식으로, 대규모 데이터셋을 한꺼번에 메모리에 올리지 않고 줄 단위로 처리할 수 있게 한다. 데이터 스트리밍과 병렬 처리에 유리하여 LLM 학습용 데이터 저장의 표준처럼 사용된다.
휴먼이벨(HumanEval): — OpenAI에서 공개한 코드 생성 능력 평가용 벤치마크 데이터셋으로, 파이썬 함수 작성 문제를 포함한다. 모델이 작성한 코드가 단위 테스트를 통과하는지 확인하여 실제 프로그래밍 문제 해결 능력을 객관적인 수치로 나타낸다.

기술

Python
Pandas
datasketch
langdetect
sentence-transformers
Llama 3.1
LoRA

활용 사례

코딩 특화 LLM 학습 데이터 정제
대규모 지시어 학습 데이터셋 구축
도메인 특화 Q&A 모델 파인튜닝

언급된 리소스

문서Neurvance