이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
LLM의 temperature 파라미터는 모델의 생성 결과가 얼마나 예측 가능한지 혹은 창의적인지를 결정하는 핵심 설정이다. 모델은 다음 토큰을 예측할 때 로짓(logits) 점수를 생성하고, 이를 소프트맥스(softmax) 함수를 통해 확률로 변환하는데, temperature는 이 로짓을 나누어 확률 분포의 형태를 조정한다. 온도가 낮으면 확률 격차가 벌어져 가장 높은 점수의 토큰이 선택될 확률이 높아지며, 온도가 높으면 확률 분포가 평탄해져 다양한 토큰이 선택될 가능성이 커진다. 따라서 코드나 수학 문제처럼 정확성이 중요한 작업에는 낮은 온도를, 창의적인 글쓰기에는 높은 온도를 설정하는 것이 적절하다.
챕터별 상세
00:00
온도 조절 노브의 역할
온도 조절 노브는 LLM의 생성 성향을 결정한다. 낮은 온도에서는 모델이 예측 가능한 사서처럼 행동하고, 높은 온도에서는 창의적인 시인처럼 행동한다. 동일한 모델과 프롬프트라도 이 노브 하나로 결과물의 성격이 완전히 달라진다.
00:17
로짓과 소프트맥스
모델은 다음 토큰을 생성하기 전 모든 후보 단어에 로짓(logits)이라는 원시 점수를 부여한다. 소프트맥스(Softmax) 함수는 이 로짓들을 합이 1이 되는 확률 분포로 변환한다. 모델은 이 확률에 따라 주사위를 굴리듯 다음 단어를 선택한다.
00:41
온도에 따른 확률 분포 변화
온도(T)는 소프트맥스 연산 직전에 모든 로짓을 나누는 값으로 작용한다. 온도가 1보다 낮으면 확률 격차가 커져 가장 높은 점수의 단어가 선택될 확률이 압도적으로 높아진다. 반대로 온도가 1보다 높으면 확률 격차가 줄어들어 낮은 점수의 단어들도 선택될 기회를 얻는다.
01:22
온도 0과 결정론적 선택
온도가 0이면 샘플링 과정이 완전히 차단된다. 모델은 항상 가장 높은 점수를 가진 단어 하나만을 선택하는 아그맥스(argmax) 방식을 취한다. 이 경우 동일한 프롬프트에 대해 항상 동일한 결과가 출력되는 결정론적 상태가 된다.
01:34
물리적 비유와 실전 설정
물리학에서 차가운 시스템은 에너지가 낮은 상태로 수렴하고 뜨거운 시스템은 에너지가 높은 상태를 탐색하는 것과 유사하다. 코드나 수학처럼 정확한 답이 필요한 작업에는 0.2 정도의 낮은 온도를, 브레인스토밍이나 창의적인 글쓰기에는 0.7에서 1.0 사이의 높은 온도를 설정하는 것이 효과적이다.
용어 해설
- 온도(Temperature)
- — LLM의 생성 과정에서 다음 토큰을 선택할 때 확률 분포를 조절하는 파라미터이다. 온도가 낮으면 확률 분포가 뾰족해져 예측 가능성이 높아지고, 높으면 평탄해져 창의적이고 다양한 결과가 생성된다.
- 로짓(Logits)
- — 모델이 다음 토큰을 예측하기 위해 어휘 사전의 각 단어에 부여하는 원시 점수이다. 이 점수가 높을수록 해당 단어가 선택될 가능성이 크다.
- 소프트맥스(Softmax)
- — 로짓 점수를 입력받아 합이 1이 되는 확률 분포로 변환하는 함수이다. 모델은 이 확률 분포를 바탕으로 다음 토큰을 샘플링한다.
- 아그맥스(Argmax)
- — 확률 분포에서 가장 높은 확률을 가진 토큰을 선택하는 결정론적 방식이다. 온도 0에서 주로 사용된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 09.수집 2026. 08. 09.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
