LLM 바닥부터 만들기 파트 32: 지시어 파인튜닝 결과 업데이트 및 개입 분석

섹션별 상세

모델의 기술적 품질을 측정하는 테스트 세트 손실과 실제 유용성을 나타내는 IFT 점수 사이의 상관관계를 분석했다. OpenAI의 원본 GPT-2 모델들은 낮은 손실과 높은 IFT 점수를 동시에 기록하며 선두를 유지했으나, 자체 학습 모델들에서는 이 관계가 깨지는 사례가 빈번하게 발생했다. 이는 기술적 지표가 모델의 실제 활용 능력을 완벽히 대변하지 못함을 시사한다.

근거

OpenAI의 GPT-2 Medium 가중치는 테스트 손실 3.231에서 IFT 평균 점수 42.19로 압도적 1위를 기록했다. — 첫 번째 및 두 번째 결과 테이블의 OpenAI weights: medium 행

FineWeb-Edu 데이터셋으로 학습한 모델들은 손실 수치가 높음에도 불구하고 예상보다 높은 IFT 점수를 기록했다. 이는 교육적으로 정제된 데이터가 모델의 기초 지식 밀도를 높여 지시어 수행에 유리한 고지를 점하게 했음을 보여준다. 반면 일반 FineWeb 데이터로 학습된 모델들은 더 똑똑해 보여도 실제 지식 기반 답변 능력은 떨어지는 경향을 보였다.

동일한 가중치와 설정을 공유하는 모델 쌍에서 학습 아키텍처(DDP vs Gradient Accumulation)에 따라 IFT 점수가 극명하게 갈리는 현상이 관찰됐다. 8xa100m40-stacked-interventions-1 모델은 손실 순위가 4위로 높았음에도 IFT 점수는 최하위를 기록하며 '불운한' 모델로 분류됐다. 이는 학습 방식의 미세한 차이가 파인튜닝 시 최적의 지점으로 이동하는 경로에 영향을 줄 수 있음을 암시한다.

근거

8xa100m40-stacked-interventions-1 모델은 손실 4위임에도 불구하고 IFT 순위는 최하위권인 13위를 기록했다. — 두 번째 결과 테이블 및 'The initial run, and the mystery' 섹션

파인튜닝 에포크 수를 4회와 7회로 고정하여 비교 실험을 진행했으나 일관된 성능 향상 패턴은 발견되지 않았다. 특정 모델은 더 많은 학습이 오히려 독이 되기도 했으며, 이는 모델마다 지시어 학습을 수용하는 최적의 임계치가 다름을 의미한다. 결국 단순한 반복 학습보다는 모델이 위치한 가중치 공간의 특성이 IFT 성능을 결정짓는 핵심 요소로 판단된다.

기술

GPT-2
Alpaca Dataset
FineWeb
FineWeb-Edu
DDP
Gradient Accumulation

활용 사례

지시어 수행 모델 평가 시스템 구축
데이터셋 품질에 따른 모델 성능 비교 분석
LLM 학습 파이프라인 최적화

언급된 리소스

문서Build a Large Language Model (from Scratch)