gradient-update

그래디언트 업데이트는 손실 함수의 기울기를 따라 파라미터를 조정하는 과정으로, 입력 순서와 상태에 따라 업데이트 대상과 크기가 달라진다. 순차적 업데이트에서는 새 토큰과 누적된 상태가 함께 파라미터에 영향을 주므로 단일 토큰에 대한 업데이트가 상태 표현을 변형시킬 수 있다. 이 과정이 파라미터 요구량과 표현 분포에 미치는 영향을 평가하는 것이 중요하다.