토큰당 비트
토큰당 비트는 모델이 토큰을 예측할 때 평균적으로 사용하는 정보량을 나타낸다. 입력(문맥)→모델 예측 확률 분포→교차엔트로피로 계산된 값이 토큰당 비트로 환산된다. 모델 비교는 이 수치의 추세를 따라야 하며, 동일 데이터와 토크나이저 조건에서 하강하는 값이 더 높은 압축·일반화 역량을 시사한다.
