Dynamic Data Mixing
동적 데이터 혼합
학습 중 각 데이터 원천의 기여도를 관찰하면서 Batch 안의 데이터 비율을 계속 조정하는 방식입니다. 고정된 혼합 비율을 처음부터 끝까지 유지하지 않고 아직 학습 효과가 큰 원천에 더 많은 가중치를 배정합니다. 글에서는 정적 혼합보다 2–5% 높은 성능을 보이는 방법으로 소개됩니다.
동적 데이터 혼합
학습 중 각 데이터 원천의 기여도를 관찰하면서 Batch 안의 데이터 비율을 계속 조정하는 방식입니다. 고정된 혼합 비율을 처음부터 끝까지 유지하지 않고 아직 학습 효과가 큰 원천에 더 많은 가중치를 배정합니다. 글에서는 정적 혼합보다 2–5% 높은 성능을 보이는 방법으로 소개됩니다.
