Data Collator
데이터 콜레이터
데이터셋의 개별 샘플들을 모아 모델 학습에 적합한 배치(Batch) 형태로 구성하는 컴포넌트이다. 패딩 처리, 특수 토큰 추가, 텐서 변환 등의 전처리를 수행하며 모델 아키텍처가 요구하는 입력 형식을 맞추는 역할을 한다.
데이터 콜레이터
데이터셋의 개별 샘플들을 모아 모델 학습에 적합한 배치(Batch) 형태로 구성하는 컴포넌트이다. 패딩 처리, 특수 토큰 추가, 텐서 변환 등의 전처리를 수행하며 모델 아키텍처가 요구하는 입력 형식을 맞추는 역할을 한다.
