shannon-floor

정보 이론에서 데이터를 손실 없이 표현하기 위해 필요한 최소한의 비트 수를 의미한다. 모델 아키텍처가 아무리 뛰어나도 임의의 사실 정보(Trivia 등)를 저장하는 데에는 물리적인 파라미터 용량 한계가 존재함을 시사한다.