조건부 엔트로피
특정 변수(모델 M)의 값을 알고 있을 때 다른 변수(데이터 X)가 가질 수 있는 불확실성의 양을 측정한다. 머신러닝에서는 이 값을 최소화하는 것이 학습의 목표이며, 본문에서는 모델이 업데이트됨에 따라 이 값이 어떻게 변화하는지 파악하는 데 쓰인다.