GPT-4o가 97.6%의 확률 대신 1.9% 확률의 토큰을 선택한 이유: 온도와 샘플링의 원리

커뮤니티 반응

작성자의 비유(여자친구의 코 성형 질문)와 기술적 설명이 적절히 조화되어 복잡한 개념을 쉽게 이해했다는 반응이 많으며, 특히 실제 확률 데이터(1.9% vs 97.6%)를 기반으로 한 분석이 설득력을 얻었습니다.

주요 논점

01중립다수

LLM이 낮은 확률의 토큰을 선택하는 것은 버그가 아니라 Temperature 설정에 의한 수학적 필연성이다.

합의점 vs 논쟁점

합의점

Temperature=0 설정은 결정론적 결과를 보장하며 사실 확인이 중요한 업무에 필수적이다.
Temperature는 모델의 지능을 높이는 것이 아니라 출력의 다양성과 창의성을 조절하는 도구이다.

실용적 조언

안정성과 사실 관계가 중요한 프로덕션 환경에서는 반드시 Temperature를 0으로 설정하여 할루시네이션을 최소화하십시오.
창의적인 글쓰기나 브레인스토밍 용도라면 Temperature를 0.7~1.3 사이로 높여 다양한 응답을 유도하십시오.

섹션별 상세

GPT-4o가 'Wikipedia'(97.6%) 대신 'Information'(1.9%)을 선택한 것은 모델의 Temperature 설정에 따른 확률적 샘플링 결과이다. Temperature가 0보다 크면 모델은 가장 높은 확률의 토큰을 항상 선택하는 대신 확률 분포에 따라 주사위를 던지는 방식으로 토큰을 추출한다. 실제 실험에서 1.9%의 확률을 가진 토큰이 샘플링 과정에서 선택되는 '희귀한 주사위 눈'이 나온 사례가 확인됐다.

Temperature 하이퍼파라미터는 모델이 가진 확률 분포의 형태를 물리적으로 변형시킨다. Temperature가 1보다 커지면 로짓 값을 작게 나누어 확률 분포를 평탄하게(spread out) 만들며, 이 과정에서 상위 토큰의 확률은 낮아지고 하위 토큰의 확률은 상대적으로 상승한다. 예시에서 온도를 1.3으로 높일 경우 1.9%였던 확률이 4~5%까지 상승하여 오답이 선택될 가능성이 2~3배 높아짐이 수학적으로 증명됐다.

모델의 확신도와 실제 출력 간의 괴리는 할루시네이션(환각)의 주요 원인이 되며, 이를 제어하기 위해 Temperature 조절이 필수적이다. Temperature가 0일 때는 가장 높은 확률의 토큰만 선택하는 결정론적(Deterministic) 방식으로 작동하여 사실 관계가 중요한 작업에 적합하다. 반면 시나 그림 생성과 같은 창의적 작업에서는 온도를 높여 확률 분포의 꼬리 부분(tail)에 있는 토큰을 선택하도록 유도하는 것이 효과적이다.

text

Step 1: start with logits. "Wikipedia" → logit =3.71, "Information" → logit = -0.95
Step 2: divide by the temperature (temp 1.3): 3.71 / 1.3 = 2.85, -0.95 / 1.3 = -0.73
Step 3: softmax converts to probabilities: e^logit / Σe^logits

로짓 값을 온도로 나누고 소프트맥스를 적용하여 확률로 변환하는 수학적 계산 과정

로짓(Logit)에서 확률(Probability)로 변환되는 과정은 3단계의 수학적 절차를 거친다. 먼저 모델이 출력한 원시 점수인 로짓을 설정된 Temperature 값으로 나누고, 그 결과값에 지수 함수(e^x)를 적용한 뒤 전체 합으로 나누는 Softmax 과정을 거친다. 이 수식을 통해 온도가 낮아질수록 상위 로짓의 영향력이 극대화되어 확신도가 100%에 수렴하게 되는 메커니즘이 명확히 드러났다.

용어 해설

온도(Temperature): — LLM의 출력 토큰 선택 시 무작위성을 조절하는 하이퍼파라미터이다. 0에 가까울수록 가장 확률이 높은 토큰을 결정론적으로 선택하고, 값이 커질수록 확률 분포를 평탄하게 만들어 낮은 확률의 토큰이 선택될 가능성을 높임으로써 창의성을 유도한다.
로짓(Logit): — 모델의 마지막 레이어에서 출력되는 정규화되지 않은 원시 점수이다. 이 값은 소프트맥스 함수를 통과하기 전의 상태이며, 각 토큰이 정답일 가능성을 상대적인 수치로 나타낸다.
소프트맥스(Softmax): — 모델의 로짓 값을 0과 1 사이의 확률 값으로 변환하는 함수이다. 모든 출력 값의 합이 1이 되도록 정규화하여, 각 토큰이 선택될 확률(Confidence)을 계산하는 데 사용된다.
샘플링(Sampling): — 확률 분포에 따라 다음 토큰을 무작위로 추출하는 과정이다. 가장 높은 확률의 토큰만 뽑는 대신 분포 내의 다른 토큰을 선택할 기회를 제공하여 모델의 응답에 다양성을 부여한다.

언급된 도구

GPT-4o중립

텍스트 생성 및 확률 기반 토큰 예측

언급된 리소스

DemoLLM Blitz Analysis