검증 퍼플렉서티
언어 모델이 다음 토큰을 얼마나 잘 예측하는지 나타내는 지표로, 값이 낮을수록 모델의 예측 성능이 좋음을 의미한다. 본 토론에서는 아키텍처의 고유한 성능 향상과 단순한 통계적 학습을 구분하는 지표로 사용된다.