프리픽스 기반 그래디언트
프롬프트 토큰은 고정된 프리픽스로 처리하고 입력 토큰에 대해서만 그래디언트를 계산하여 메모리 사용량을 줄이는 기법이다. 프롬프트는 KV 캐시만 생성하고 입력 구간에서만 역전파를 수행하므로 메모리 복잡도가 n⋅d⋅L에서 (n−k)⋅d⋅L로 감소한다.