future-loss-gradient
미래 손실 그라디언트
어떤 위치의 파라미터가 이후 시점 j>i 의 손실 ℓ_j 에 기여할 때 생기는 기울기 성분을 지칭한다. 본문은 이 성분이 어느 스트림으로 얼마나 배분되는지가 모델의 상태 표현과 예측 성능에 직접적인 영향을 준다고 분석한다. SPS는 이 미래 손실 그라디언트를 입력 스트림에 더 많이 모으는 것으로 확인됐다.
미래 손실 그라디언트
어떤 위치의 파라미터가 이후 시점 j>i 의 손실 ℓ_j 에 기여할 때 생기는 기울기 성분을 지칭한다. 본문은 이 성분이 어느 스트림으로 얼마나 배분되는지가 모델의 상태 표현과 예측 성능에 직접적인 영향을 준다고 분석한다. SPS는 이 미래 손실 그라디언트를 입력 스트림에 더 많이 모으는 것으로 확인됐다.
