프리비트
프리비트는 KL 손실 계산에서 최소 허용값을 부여해 두 분포가 완전히 동일해지는 것을 막는 하이퍼파라미터이다. 이 값은 표현이 지나치게 수렴하여 정보량이 사라지는 것을 방지하는 데 사용된다. 논문은 프리비트 설정이 성능에 일부 영향을 주나 민감도는 높지 않음을 보고했다.