Gradient Accumulation: 적은 GPU 메모리로 큰 배치 사이즈 학습하기

• •Batch Size가 작으면 학습 효율이 떨어지거나 실패할 수 있음
• •Gradient Accumulation은 메모리 부족 문제를 해결하는 핵심 잡기술임

• •Gradient 연산의 선형성 덕분에 분할 계산이 가능함
• •누적된 Gradient를 합산한 결과는 전체 배치를 한 번에 처리한 것과 같음

Gradient의 선형성이란 여러 벡터의 합에 대한 미분값이 각 벡터의 미분값들의 합과 같다는 성질을 의미한다.

• •BatchNorm은 배치 단위 통계량을 사용하므로 GA 적용 시 주의가 필요함
• •서브 배치 사이즈가 통계적으로 유의미한 수준인지 확인해야 함

BatchNorm은 배치 내 데이터들의 분포를 정규화하여 학습 안정성을 높이는 기법이다.

• •Accelerator의 gradient_accumulation_steps 파라미터로 설정 가능
• •acc.accumulate 컨텍스트 내에서 optimizer.step() 등이 자동으로 스킵됨