델타 표현
Delta 표현은 hi+1 − hi로 정의된 layer 간 변화량을 라우팅 소스로 사용하는 아이디어이다. 이는 누적 상태보다 더욱 구조적으로 다양하고 구별된 정보를 제공한다.