Top-k 샘플링
확률이 가장 높은 상위 k개의 단어 후보군 내에서만 다음 단어를 선택하는 기법이다. 확률이 매우 낮은 단어가 선택되어 문맥이 어색해지는 것을 방지하는 효과가 있다.
단순 추측이 아니다 LLM의 창의성과 논리를 결정하는 4가지 디코딩 기법