Sampling Noise
샘플링 노이즈
같은 벤치마크라도 생성 온도와 무작위 샘플에 따라 점수가 달라지는 변동입니다. HumanEval을 temperature 0.2에서 세 번 실행하자 94.5%, 97.6%, 94.5%가 나와 단일 실행의 1점 차이를 과대해석하기 어렵게 했습니다.
샘플링 노이즈
같은 벤치마크라도 생성 온도와 무작위 샘플에 따라 점수가 달라지는 변동입니다. HumanEval을 temperature 0.2에서 세 번 실행하자 94.5%, 97.6%, 94.5%가 나와 단일 실행의 1점 차이를 과대해석하기 어렵게 했습니다.
