forward-backward-hooks
포워드/백워드 훅
모듈에 직접 연결되는 함수로서 입력/출력 텐서나 그라디언트를 캡처하여 통계(평균·분산·스큐 등)를 계산하는 도구이다. 각 학습 스텝 중 특정 시점에 훅을 명시적으로 붙였다 제거하여 오버헤드를 제어하며, 이렇게 수집한 통계는 모듈별 분포 변화와 그래디언트 흐름을 추적하는 데 사용된다. ModelAnalyzer는 훅이 계산한 값에 EMA를 적용해 스텝 간 변동을 평활화한다.
포워드/백워드 훅
모듈에 직접 연결되는 함수로서 입력/출력 텐서나 그라디언트를 캡처하여 통계(평균·분산·스큐 등)를 계산하는 도구이다. 각 학습 스텝 중 특정 시점에 훅을 명시적으로 붙였다 제거하여 오버헤드를 제어하며, 이렇게 수집한 통계는 모듈별 분포 변화와 그래디언트 흐름을 추적하는 데 사용된다. ModelAnalyzer는 훅이 계산한 값에 EMA를 적용해 스텝 간 변동을 평활화한다.
