영어의 원시 엔트로피
원시 엔트로피는 문맥을 충분히 반영했을 때 언어 자체가 가지는 평균 불확실성으로, 글에서는 완전한 문맥을 전제로 한 영어의 토큰당 엔트로피를 약 4.5 비트로 가정하고 있다. 모델이 이보다 낮은 비트를 기록하면 단순 통계 이상의 구조적 규칙을 포착하고 있다는 신호로 해석할 수 있으며, 학습 진행을 평가하는 비교점이 된다. 실제 계산치는 코퍼스와 토크나이저에 따라 달라진다.
