NLLB-200 모델 파인튜닝 효율을 높이는 가변 배치 샘플러 dynabatch 공개

작성자가 직접 개발한 도구의 벤치마크 결과와 한계점을 솔직하게 공유하여 실무적인 관심을 받았다.

• 인코더-디코더 모델로 번역 작업을 수행할 때 dynabatch를 사용하여 GPU 활용도를 극대화할 수 있다.
• 디코더 전용 모델을 사용 중이라면 가변 배치보다는 시퀀스 패킹 기법을 먼저 고려하는 것이 좋다.

Batch Size

— 모델 학습 시 한 번의 파라미터 업데이트를 위해 동시에 처리하는 데이터 샘플의 개수이다. 고정된 배치 크기는 가장 긴 시퀀스에 맞춰 메모리 한계가 결정되므로 짧은 시퀀스 처리 시 GPU 자원이 낭비되는 비효율이 발생한다.

Encoder-Decoder

— 입력 시퀀스를 처리하는 인코더와 출력 시퀀스를 생성하는 디코더로 구성된 아키텍처이다. 번역(MT) 모델에서 주로 사용되며 입력과 출력의 길이가 비례하는 특성을 가져 시퀀스 길이에 따른 메모리 예측이 용이하다.

Sequence Packing

— 여러 개의 짧은 시퀀스를 하나의 긴 시퀀스로 묶어 고정된 컨텍스트 윈도우를 최대한 채우는 기법이다. 주로 디코더 전용 모델에서 패딩 토큰으로 인한 계산 낭비를 줄이고 학습 효율을 높이는 데 사용된다.

Out of Memory (OOM)

— GPU의 VRAM 용량을 초과하는 데이터를 처리하려 할 때 발생하는 오류이다. 딥러닝 학습 중 시퀀스 길이가 길어지거나 배치 크기가 너무 클 때 주로 발생하며 학습 프로세스를 중단시키는 주요 원인이 된다.