token-log-probabilities

토큰 로그 확률은 출력 단일 토큰의 발생 확률의 로그 값을 나타내며, 출력 전체의 확률 분포를 평가하는 데 사용된다. 하지만 단일 토큰 수준의 정보로는 전체 판단의 신뢰도를 충분히 반영하기 어렵고, 다중 토큰 또는 컨텍스트를 고려한 평가가 필요하다. 이 문제는 신뢰도 추정의 현실적 한계 중 하나로 여겨진다.