Token Probability

주어진 문맥에서 다음에 올 가장 적절한 단어나 문자의 확률을 계산하는 방식이다. 현재 LLM이 문장을 생성하는 핵심적인 통계적 메커니즘이다.