그래디언트 체크포인팅
역전파 과정에서 필요한 중간 활성화 값을 모두 저장하는 대신 일부만 저장하고 필요할 때 다시 계산하는 메모리 절약 기법이다. 메모리 사용량을 줄이는 대신 계산 시간이 늘어나는 것이 일반적이지만, 본문에서는 최적화를 통해 속도까지 향상시켰다.
10년 된 노트북 3대로 LLM 학습 성공? Rust가 여는 저사양 파인튜닝의 미래
2013년형 구형 노트북 3대로 LLM 파인튜닝에 성공하다