dynamic-selection
동적 선택
과도한 데이터셋을 다룰 때 훈련 루프가 주기적으로 다음 학습 윈도우에 포함할 샘플을 골라내는 방식이다. 선택 규칙으로는 loss 기반, gradient 기반, 무작위 또는 태스크 특화 기준을 쓸 수 있으며 SFT처럼 라벨 품질이 고르지 않은 데이터에 특히 적합하다. 이렇게 샘플을 제한하면 한정된 compute로 더 유용한 예제에 업데이트 자원을 집중할 수 있다.
동적 선택
과도한 데이터셋을 다룰 때 훈련 루프가 주기적으로 다음 학습 윈도우에 포함할 샘플을 골라내는 방식이다. 선택 규칙으로는 loss 기반, gradient 기반, 무작위 또는 태스크 특화 기준을 쓸 수 있으며 SFT처럼 라벨 품질이 고르지 않은 데이터에 특히 적합하다. 이렇게 샘플을 제한하면 한정된 compute로 더 유용한 예제에 업데이트 자원을 집중할 수 있다.
