DataFlex: 대규모 언어 모델의 데이터 중심 동적 학습을 위한 통합 프레임워크

섹션별 상세

기존 데이터 중심 학습 기법들은 각기 다른 코드베이스와 인터페이스로 구현되어 있어 연구 재현과 실무 적용에 어려움이 많았다. DataFlex는 이러한 파편화된 환경을 개선하기 위해 LLaMA-Factory를 기반으로 데이터 최적화 워크플로우를 표준화했다. 이를 통해 개발자는 복잡한 설정 없이도 최신 데이터 선택 알고리즘을 기존 학습 파이프라인에 즉시 통합할 수 있다. 데이터 중심 접근법의 진입 장벽을 낮추고 공정한 성능 비교가 가능한 환경을 제공한다.

DataFlex는 샘플 선택, 도메인 혼합, 샘플 재가중치라는 세 가지 핵심 데이터 최적화 기능을 모듈화된 컴포넌트로 제공한다. 학습 과정에서 모델의 임베딩 추출, 추론 결과, 그래디언트 계산 값을 실시간으로 활용하여 다음에 학습할 데이터의 우선순위를 결정한다. 특히 DeepSpeed ZeRO-3 환경에서도 안정적으로 작동하도록 설계되어 대규모 파라미터 모델의 학습 효율을 극대화한다. 표준 LLM 학습기의 드롭인(drop-in) 대체가 가능하도록 확장 가능한 트레이너 추상화 계층을 갖추고 있다.

Mistral-7B와 Llama-3.2-3B 모델을 대상으로 한 MMLU 벤치마크 테스트에서 DataFlex의 동적 데이터 선택 방식이 전체 데이터를 사용하는 정적 학습보다 우수한 성과를 거뒀다. SlimPajama 데이터셋을 활용한 Qwen2.5-1.5B 사전 학습 실험에서는 DoReMi 및 ODM 기법을 적용해 기본 비율 대비 MMLU 정확도 향상과 코퍼스 수준의 당혹도 감소를 달성했다. 또한 기존의 개별 구현체들과 비교했을 때 런타임 성능이 일관되게 개선되어 실제 학습 시간 단축 효과를 입증했다.

용어 해설

데이터 중심 학습(Data-Centric Training): — 모델 구조보다 학습 데이터의 품질, 선택, 구성 및 가중치를 최적화하여 성능을 높이는 접근 방식이다. 고정된 데이터셋으로 파라미터만 튜닝하는 대신 학습 과정에서 유의미한 데이터를 동적으로 선별하여 학습 효율을 극대화한다.
도메인 혼합(Domain Mixture): — 사전 학습 시 뉴스, 코드, 논문 등 서로 다른 출처의 데이터 비율을 결정하는 기법이다. 모델이 특정 분야에 편향되지 않고 균형 잡힌 지식을 습득하도록 최적의 데이터 조합 비율을 동적으로 조정하는 것이 핵심이다.
당혹도(Perplexity): — 언어 모델이 다음 토큰을 얼마나 잘 예측하는지 나타내는 지표로 값이 낮을수록 모델의 예측 성능이 우수함을 의미한다. 데이터 혼합 최적화 결과가 코퍼스 수준에서 얼마나 개선되었는지 측정하는 주요 척도로 활용된다.
제로-3(ZeRO-3): — DeepSpeed에서 제공하는 메모리 최적화 기술로 모델 파라미터, 그래디언트, 옵티마이저 상태를 모든 GPU에 분산 저장한다. 대규모 언어 모델 학습 시 메모리 부족 문제를 해결하고 병렬 처리 효율을 높이는 데 필수적인 기술이다.

기술

DataFlex
LLaMA-Factory
DeepSpeed ZeRO-3
Mistral-7B
Llama-3.2-3B
Qwen2.5-1.5B

활용 사례

LLM 사전 학습 시 데이터 혼합 비율 최적화
학습 효율 개선을 위한 유의미한 데이터 샘플 선별
대규모 분산 학습 환경에서의 데이터 가중치 동적 조정

언급된 리소스

논문DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models