뉴클리어스 샘플링
모델이 다음 토큰을 생성할 때 누적 확률이 특정 임계값 이내인 상위 토큰들만 후보로 고려하는 방식이다. 고정된 개수를 선택하는 Top-k와 달리 문맥에 따라 후보군 크기가 동적으로 변하여 답변의 일관성과 다양성을 동시에 확보한다.
기본값만 쓰시나요? LLM 추론 파라미터 최적화로 성능 2배 높이기