Token Sampling

LLM이 다음 토큰의 후보별 점수나 확률을 바탕으로 출력 토큰을 고르는 과정입니다. 가장 높은 후보만 고르는 Greedy Decoding과 확률에 따라 무작위 선택하는 방식이 있으며, Top-k와 Top-p는 후보 범위를 제한해 무의미한 토큰 선택을 줄입니다. Claude 워터마크는 이 샘플링 단계에 개입합니다.