한정 예산을 위한 동적 데이터 스케줄링

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

한정된 fine-tuning 예산에서는 학습 길이보다 각 업데이트가 어떤 데이터에 연산을 쓸지 설계하는 것이 핵심이라는 주장이다. 데이터 과다 상황에는 dynamic selection으로 다음 학습 윈도우의 샘플을 골라내고 여러 도메인에는 dynamic mixing으로 소스 비중을 조정하며 데이터를 버리지 않으려면 dynamic weighting으로 샘플별 손실 가중치를 다르게 적용하는 방식이 제안된다. 이 세 가지 기법은 입력·처리·출력 흐름을 가지고 SFT나 continued pretraining에서 예산 효율을 개선하는 방향이라는 점이 글의 요지이다.

주요 논점

01찬성소수

한정된 fine-tuning 예산에서는 단순 학습 길이보다 각 업데이트가 어떤 데이터에 연산을 쓸지 결정하는 것이 더 중요하다는 주장이다. 글쓴이는 oversized dataset, multi-domain, uneven-value라는 세 가지 사용 사례를 기준으로 select·mix·weight을 매핑하는 설계 방향을 제시하고 있다. 이 매핑은 SFT나 continued pretraining 같은 실제 워크플로에서 샘플 효율을 높이기 위한 실용적 접근이라는 점을 강조하고 있다.

02찬성소수

구현 관점에서는 OpenDCAI/DataFlex가 LLaMA-Factory에 삽입되어 dynamic_select, dynamic_mix, dynamic_weight 플래그를 훈련 루프에 추가하는 식으로 동작한다는 점을 제안하고 있다. 이 접근은 기존 툴체인과 연계해 실험을 빠르게 돌릴 수 있도록 설계된 방식이다. 따라서 개발자가 직접 데이터 스케줄링 정책을 바꿔가며 예산 제약 하에서 성능을 탐색하기에 적합하다는 주장이 담겨 있다.

실용적 조언

데이터가 전체적으로 지나치게 많다면 전체를 무작정 학습하기보다 dynamic selection으로 주기적으로 다음 윈도우에 들어갈 샘플을 골라야 한다. 선택 기준을 loss, gradient, 무작위 또는 태스크별 휴리스틱 중에서 실험해 보고 가장 예산 대비 개선이 큰 기준을 채택하는 것이 바람직하다. 이 방식은 특히 SFT에서 노이즈가 많은 instruction 데이터를 다룰 때 학습 효율을 높이는 실무적 방법이다.
여러 도메인을 합쳐 돌릴 때는 초기의 고정 혼합비를 신뢰하면 안 되고 dynamic mixing으로 소스별 비중을 학습 중에 조정해 다음 데이터 슬라이스를 재생성해야 한다. 이 과정은 입력으로 여러 소스의 샘플을 받아 소스 비중을 추정하고 그 비중으로 샘플링 분포를 재생성하는 파이프라인을 요구한다. continued pretraining이나 도메인 적응 실험에서는 소스 편향을 줄이는 데 실용적이다.
데이터를 버리고 싶지 않다면 dynamic weighting을 써서 모든 샘플을 남겨두되 손실에 가중치를 부여해 기여도를 조절해야 한다. 가중치는 샘플 신뢰도나 손실 크기 같은 지표로 산출하면 되고 이 방식은 데이터 유지와 영향력 조절을 동시에 달성하는 부드러운 절충안이다. 실험 환경에서는 가중치 산정 방식을 여러 후보로 두고 검증하는 것이 필요하다.

섹션별 상세

대량의 원시 데이터 중에서 훈련 예산이 제한적일 때는 전체 학습 기간이 아니라 각 업데이트가 어디에 연산을 쓸지 결정하는 것이 핵심 문제이다. dynamic selection은 훈련 루프가 주기적으로 다음 학습 윈도우에 포함할 샘플을 선택하는 입력→처리→출력 흐름을 가진다. 선택 기준으로 loss 기반, gradient 기반, 무작위 또는 태스크 특화 규칙을 쓸 수 있으며 SFT처럼 instruction 데이터가 고르지 못한 상황에서 잡음 샘플을 피할 수 있다는 점이 중요하다.

학습 소스가 여러 개인 멀티도메인 상황에서는 고정된 데이터 혼합비가 추정치에 불과해 성능을 저하시킬 수 있다. dynamic mixing은 각 소스의 비중을 학습 중에 계측하고 다음 데이터 슬라이스를 그 비중으로 재구성하는 과정으로 동작한다. 이 방식은 위키·웹·코드·수학·도서·내부 문서처럼 다양한 소스를 결합하는 continued pretraining이나 domain adaptation에서 소스 편향을 자동으로 보정하는 역할을 한다.

모든 샘플을 삭제하고 싶지 않은 경우에는 dynamic weighting이 대안이다. 각 샘플을 배치에 포함시키되 손실에 곱하는 가중치를 달리하여 역전파 기여도를 조정하는 입력→처리→출력 흐름을 따른다. 이렇게 하면 유용한 예제의 영향력을 높이거나 약한 예제의 영향을 줄이는 부드러운 제어가 가능해 데이터 버림 없이 예산을 효율화할 수 있다.

세 가지 기법은 문제 성격에 따라 선택 기준이 명확하다: 데이터 양 과다이면 select, 소스 수가 많으면 mix, 동일 데이터에서 값 차가 크면 weight을 적용하는 매핑이다. 이 매핑은 설계 지침으로 쓰기 쉽고 각 기법은 입력(데이터 특성)·처리(선택·혼합·가중치 산출)·출력(다음 학습 슬라이스 또는 조정된 손실)을 갖는다. 글쓴이는 이 방향성을 OpenDCAI/DataFlex로 구현했고 LLaMA-Factory에 플러그인하는 형태로 통합했다고 밝히고 있다.

용어 해설

동적 선택(dynamic selection): — 과도한 데이터셋을 다룰 때 훈련 루프가 주기적으로 다음 학습 윈도우에 포함할 샘플을 골라내는 방식이다. 선택 규칙으로는 loss 기반, gradient 기반, 무작위 또는 태스크 특화 기준을 쓸 수 있으며 SFT처럼 라벨 품질이 고르지 않은 데이터에 특히 적합하다. 이렇게 샘플을 제한하면 한정된 compute로 더 유용한 예제에 업데이트 자원을 집중할 수 있다.
동적 혼합(dynamic mix): — 다중 도메인 데이터를 섞어 학습할 때 도메인별 비율을 고정값으로 두지 않고 학습 중에 비율을 조정해 다음 데이터 슬라이스를 재구성하는 방식이다. 입력은 여러 소스의 샘플이고 처리 과정은 소스별 비중을 계측·조정한 뒤 샘플링 분포를 다시 생성하는 것이다. continued pretraining이나 domain adaptation에서 소스 비율을 자동으로 맞추는 데 유용하다.
동적 가중치(dynamic weight): — 모든 샘플을 배치에 포함시키되 각 샘플의 손실에 서로 다른 가중치를 곱해 역전파에 반영하는 방식이다. 이 기법은 데이터를 완전히 버리지 않고도 유용한 예제를 강조하거나 품질이 낮은 샘플의 영향력을 낮추는 부드러운 제어를 제공한다. 가중치는 예제별 신뢰도, 손실 크기 또는 다른 휴리스틱으로 산출될 수 있다.
지도형 파인튜닝(SFT): — instruction 데이터로 모델을 지도학습 방식으로 파인튜닝하는 접근법이며 데이터에 노이즈와 품질 편차가 흔히 존재한다는 점이 특징이다. SFT에서는 일부 샘플이 다른 샘플보다 학습 효율이 높기 때문에 샘플 선택이나 가중치 조정이 성능에 큰 영향을 미칠 수 있다. 따라서 데이터 정제나 동적 스케줄링과 결합해 예산 제약 하에서 효율을 높이는 설계가 필요하다.

언급된 도구

OpenDCAI/DataFlex중립

훈련 루프에 dynamic_select, dynamic_mix, dynamic_weight 기능을 플러그인하는 라이브러리

LLaMA-Factory중립

위에서 언급한 플러그인이 삽입되는 훈련 툴체인