TL;DR

DataFlex는 LLaMA-Factory 훈련 루프에 직접 끼워 쓰는 데이터 중심 제어 프레임워크로, Select·Mix·Reweight 세 축의 알고리즘을 통합해 훈련 중 데이터 분포와 샘플 중요도를 동적으로 조정합니다. 설치는 pip 패키지 또는 소스 설치가 가능하고 Python 3.11+, LLaMA-Factory 호환 환경을 요구하며 DeepSpeed ZeRO-3 지원으로 대규모 실험 환경과도 연동할 수 있습니다. 공개 실험에서 DoReMi·ODM 계열은 baseline 대비 MMLU 및 도메인별 perplexity에서 개선을 보였으므로 LLaMA-Factory 기반으로 데이터 스케줄링을 실험하거나 재현성 있는 비교를 하려는 프로젝트에 적합합니다.

핵심 포인트

• DataFlex는 LLaMA-Factory 훈련 루프 안에서 동작하는 데이터 중심 훈련 프레임워크로, 훈련 중에 샘플 선택·도메인 혼합·샘플 가중치 조정을 실시간으로 제어합니다. 내부적으로 LLaMA-Factory의 체크포인트 주기마다 Select, Mix, Reweight 단계가 호출되어 모델 상태를 반영한 데이터 스케줄링이 이루어집니다. 이 구조는 동일 실험 재현성과 훈련 중 데이터-모델 상호작용을 실험적으로 비교하려는 연구자에게 유용합니다.
• 여러 공개 알고리즘(LESS, NICE, DoReMi, ODM 등)을 구현·통합하고 선택자(selector)/믹서(mixer)/가중기(weighter) 등록(registry) 인터페이스를 제공하여 새로운 알고리즘을 플러그인 방식으로 추가할 수 있습니다. 레포는 'How to Add a New Algorithm' 가이드를 통해 베이스 클래스와 등록 절차를 안내하며, CLI 명령(dataflex-cli)을 통해 기존 LLaMA-Factory 런치 플로우를 그대로 사용하도록 설계되어 있습니다. 이 접근은 연구자가 모델-루프에 직접 관여하는 방식의 알고리즘을 일관된 인터페이스로 평가·교차비교할 수 있게 해 줍니다.
• 설치와 실행은 pip 패키지(dataflex) 또는 소스 설치를 지원하며 Python 3.11+를 권장합니다. README에 예시로 DataFlex 전용 YAML 구성이 필요함을 명시하고 있고, DeepSpeed ZeRO-3에서의 gradient 계산 지원을 최근 추가하여 대규모 모델 훈련과의 호환성을 확장했습니다. 또한 DataFlow 같은 전처리 파이프라인과 표준 JSON 포맷으로 연동되므로, 원시 데이터 파이프라인과 훈련 루프를 분리해 운영하기에 적합합니다.
• 공개된 실험 결과에서 Data Selection·Mixture·Reweight 전략이 랜덤 또는 기본 혼합(baseline)보다 MMLU 성능과 도메인별 perplexity 지표에서 개선을 보였습니다. Slim-Pajama 실험표에서 DoReMi와 ODM이 baseline 대비 MMLU 점수와 여러 도메인 PPL에서 우위를 보였고, selector 기반 실험(Mistral-7B / Llama-3.2-3B) 그래프에서도 reweight·less 계열이 무작위 샘플링보다 높은 acc를 기록했습니다. 따라서 LLaMA-Factory 기반 학습 파이프라인에 데이터 중심 제어를 추가하려는 프로젝트에서 실험적 가치를 기대할 수 있습니다.

벤치마크

이미지 분석