max_length
최대 시퀀스 길이
max_length는 모델이 한 입력에서 처리하도록 허용하는 최대 토큰 수입니다. 이 글에서는 값을 128 tokens로 제한하고 training batch size를 낮춰 동일한 tenant 데이터의 peak memory를 약 5.6 GB에서 약 1.27 GB로 줄였으며, 처리 시간도 905초에서 224초로 단축했습니다.
최대 시퀀스 길이
max_length는 모델이 한 입력에서 처리하도록 허용하는 최대 토큰 수입니다. 이 글에서는 값을 128 tokens로 제한하고 training batch size를 낮춰 동일한 tenant 데이터의 peak memory를 약 5.6 GB에서 약 1.27 GB로 줄였으며, 처리 시간도 905초에서 224초로 단축했습니다.
