long-horizon-autoregressive-distillation
장기간 자기회귀 증류(LHAD)
LHAD는 장기 롤아웃에서 누적되는 자기회귀 오류를 다루기 위해 분절된 최적화를 수행하는 기법이다. 긴 시퀀스를 짧은 클립으로 나누어 각 클립에 대해 SA-DMD 역전파를 계산하고 그래프를 정리한 뒤 기울기를 누적하여 하나의 업데이트를 수행함으로써 메모리 사용을 제한한다. 이렇게 하면 장기간 반복 생성에서 발생하는 누적 왜곡에 대해 직접적으로 최적화할 수 있다.
