본문으로 건너뛰기

Taylor-guided statistics

Taylor 가이드 통계

중급

교사 attention 분포의 2차 근사치를 이용해 값 스케일, decay, write 게이트, output 게이트 등을 초기화하는 데 사용되는 핵심 수치들이다.