TL;DR
엔트로피는 물리적 무질서에서 시작하여 정보 이론을 거쳐 현대 AI의 핵심 원리로 자리 잡은 개념이다. 열역학에서의 엔트로피가 에너지의 분산과 시간의 방향성을 설명한다면, 섀넌 엔트로피는 정보의 '놀라움'을 수치화하여 데이터의 본질적 가치를 측정한다. 머신러닝에서는 교차 엔트로피 손실 함수를 통해 모델의 예측 오차를 줄이고, KL 발산을 활용해 확률 분포 간의 차이를 정밀하게 조정한다. 특히 LLM에서 퍼플렉서티와 온도 조절 매개변수는 엔트로피 원리를 직접 응용하여 모델의 성능 평가와 출력의 다양성을 결정하는 결정적인 역할을 수행한다.
챕터별 상세
엔트로피의 물리적 기원과 무질서
열역학에서 엔트로피는 에너지가 고르게 퍼지려는 자연의 경향성을 수학적으로 설명하는 개념이다.
볼츠만 방정식과 미시적 상태
볼츠만 상수는 미시적 상태의 수와 거시적 엔트로피 사이의 관계를 연결하는 물리 상수이다.
섀넌 엔트로피와 정보의 놀라움
정보 이론에서 엔트로피는 데이터를 전송하거나 저장할 때 필요한 최소 비트 수를 의미한다.
머신러닝의 핵심: 교차 엔트로피 손실
교차 엔트로피는 정보 이론에서 두 확률 분포의 유사성을 측정하는 도구로, 머신러닝에서는 모델의 예측 오차를 수치화하는 표준적인 방법이다.
언어 모델의 성능 지표 퍼플렉서티
퍼플렉서티가 10이라면 모델은 다음 단어를 선택할 때 10개의 단어 사이에서 고민하는 것과 같은 불확실성을 가진다는 뜻이다.
소프트맥스 온도와 창의적 샘플링
온도 조절은 모델의 가중치를 바꾸는 것이 아니라, 추론 시 출력 확률 분포의 선명도를 조정하는 기법이다.
KL 발산을 이용한 모델 분포 정렬
KL 발산은 대칭적이지 않기 때문에 엄밀한 의미의 '거리'는 아니지만, 분포 간의 차이를 측정하는 데 매우 유용하다.
용어 해설
- 엔트로피(Entropy)
- — 시스템의 무질서나 불확실성을 나타내는 척도이다. 물리적으로는 에너지가 분산되는 정도를 의미하며, 정보 이론에서는 메시지가 전달하는 정보의 양을 결정한다. AI 모델이 데이터의 패턴을 학습하고 예측의 확신도를 조절하는 데 필수적인 수학적 토대가 된다.
- 교차 엔트로피(Cross-Entropy)
- — 두 확률 분포 사이의 차이를 측정하는 방법이다. 머신러닝 분류 모델에서 실제 정답 분포와 모델의 예측 분포가 얼마나 일치하는지 계산하여 손실 함수로 사용한다. 값이 작을수록 모델이 정답을 더 정확하게 예측하고 있음을 의미하며 학습의 최적화 목표가 된다.
- 퍼플렉서티(Perplexity)
- — 언어 모델이 다음 토큰을 얼마나 잘 예측하는지 나타내는 지표로, 엔트로피의 지수 함수 형태(2^H)로 계산된다. 낮은 퍼플렉서티는 모델이 다음 단어를 선택할 때 불확실성이 적고 더 정확하게 예측하고 있음을 의미한다. 모델이 평균적으로 몇 개의 선택지 중에서 고민하고 있는지를 나타내는 분기 계수로 해석된다.
- KL 발산(KL Divergence)
- — 하나의 확률 분포가 다른 분포와 얼마나 다른지를 측정하는 비대칭적 지표이다. 정보 이론에서 한 분포를 다른 분포로 근사할 때 발생하는 정보 손실량을 의미한다. RLHF와 같은 기법에서 모델이 기존 지식을 유지하면서 새로운 선호도를 학습하도록 제약하는 데 사용된다.
- 소프트맥스 온도(Softmax Temperature)
- — 모델 출력의 확률 분포를 조절하여 엔트로피를 변화시키는 매개변수이다. 온도가 낮으면 확률 분포가 뾰족해져 일관성이 높아지지만 창의성이 떨어지고, 온도가 높으면 분포가 평탄해져 엔트로피가 증가하고 더 다양하고 의외성 있는 토큰이 선택될 확률이 높아진다.
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
