forward-derived-correction
순전파 유도 보정
역전파(Backpropagation)를 통한 가중치 업데이트 없이, 순전파 과정에서 발생한 출력 임베딩의 기하학적 차이를 계산하여 메모리에 저장하는 방식이다. 타겟 토큰과 모델의 예측 확률 분포 간의 차이를 벡터로 저장하여 생성 시점에 더해준다.
순전파 유도 보정
역전파(Backpropagation)를 통한 가중치 업데이트 없이, 순전파 과정에서 발생한 출력 임베딩의 기하학적 차이를 계산하여 메모리에 저장하는 방식이다. 타겟 토큰과 모델의 예측 확률 분포 간의 차이를 벡터로 저장하여 생성 시점에 더해준다.
