본문으로 건너뛰기

Stochastic Sampling

확률적 샘플링

다음 토큰의 확률분포에서 하나를 무작위로 선택해 여러 가능한 출력을 생성하는 방식이다. 결정론적 디코딩이 만드는 반복적 문구를 줄이고 vocabulary diversity를 회복하지만, 글에서는 false demographic bias를 환각할 위험이 함께 나타난다고 설명한다.