정보 이론
정보의 전달, 처리, 저장 및 이용을 수학적으로 다루는 학문이다. 엔트로피와 상호 정보량 등의 개념을 통해 LLM의 학습 과정을 정량적으로 분석하는 프레임워크를 제공한다.