언어 모델 기반 소스 코드 압축 실험: n-gram과 산술 부호화의 결합

작성자의 실험적 접근에 대해 흥미롭다는 반응이며, 특히 범용 압축기와의 구체적인 수치 비교가 유용하다는 평가를 받고 있습니다.

• 코드 압축 시 단순 바이트 압축 대신 구문 분석 기반의 토큰 확률 모델을 결합하면 압축률을 극대화할 수 있다.
• 성능 병목을 해결하기 위해 확률 계산부의 C++/Zig 이식이나 모델 예측의 배칭 처리를 고려해야 한다.

• 언어 모델이 포착하는 토큰 수준의 구문적 구조가 바이트 단위의 범용 압축 알고리즘보다 소스 코드 압축에 훨씬 유리하다.
• n-gram 모델과 산술 부호화의 결합으로 Flask 코드베이스에서 zlib 대비 33% 향상된 압축 성능을 달성했다.
• 높은 압축률에도 불구하고 Python 기반의 확률 계산 과정에서 발생하는 연산 부하로 인해 실용적인 속도 확보가 향후 과제로 남았다.