compression-theorem
압축 정리
Shannon의 압축 정리는 랜덤한 원천에서 생성된 긴 시퀀스 중 'typical sequence'만을 로그 수로 표현하면 엔트로피 H로의 수렴을 보장한다고 정식화한다. 즉 L개의 가능한 사건을 기술하려면 log L 비트가 필요하며, 자주 발생하는 부분만 인코딩하면 평균 비트 수가 H에 수렴한다. 실무적으로는 확률 모형을 기반으로 한 압축·코딩과 통계적 근사에서 이론적 근거를 제공한다.
압축 정리
Shannon의 압축 정리는 랜덤한 원천에서 생성된 긴 시퀀스 중 'typical sequence'만을 로그 수로 표현하면 엔트로피 H로의 수렴을 보장한다고 정식화한다. 즉 L개의 가능한 사건을 기술하려면 log L 비트가 필요하며, 자주 발생하는 부분만 인코딩하면 평균 비트 수가 H에 수렴한다. 실무적으로는 확률 모형을 기반으로 한 압축·코딩과 통계적 근사에서 이론적 근거를 제공한다.
