본문으로 건너뛰기

chunked-loss

청크 단위 KL 손실

시퀀스를 작은 청크로 나눠 각 청크를 순차 처리하고 필요 시 역전파에서 재계산하여 전체 어휘×시퀀스 그리드를 메모리에 올리지 않는 손실 계산 기법으로, 메모리 성장률을 선형으로 제한한다.