토큰 서프라이절
prefill 단계에서 모델이 계산하는 각 토큰의 음의 로그 확률로, 높은 값이 주제 변화나 엔티티 도입처럼 의미적 경계를 나타내는 지표로 활용되어 스팬 분할 기준으로 사용된다.
