언어 모델 기반 소스 코드 압축 실험: n-gram과 산술 부호화의 결합

실용적 조언

코드 압축 시 단순 바이트 압축 대신 구문 분석 기반의 토큰 확률 모델을 결합하면 압축률을 극대화할 수 있다.
성능 병목을 해결하기 위해 확률 계산부의 C++/Zig 이식이나 모델 예측의 배칭 처리를 고려해야 한다.

섹션별 상세

작성자는 4-그램 모델을 사용하여 Python 토큰의 조건부 확률을 추정하고 이를 산술 부호화기에 전달하는 시스템을 구축했다. 모델이 특정 토큰 뒤에 올 다음 토큰의 분포를 예측하면 부호화기가 이 확률 분포를 기반으로 비트스트림을 생성하는 방식으로 작동한다. Flask 소스 코드 575KB를 대상으로 실험한 결과 101KB까지 줄여 약 82.4%의 용량 절감률을 기록했다.

실험 결과 n-gram 기반 압축 방식은 zlib(151KB), lzma(152KB), zstd(147KB) 등 기존 범용 압축 도구들보다 약 33% 더 우수한 압축률을 보였다. 범용 압축기는 바이트 단위로 작동하지만 언어 모델은 토큰 수준에서 'def' 뒤에 식별자가 오거나 'return' 뒤에 표현식이 오는 등의 구문적 구조를 포착하기 때문이다. 이러한 예측 구조가 산술 부호화 과정을 통해 효율적인 비트 할당으로 이어짐이 확인됐다.

시스템 아키텍처는 모델과 토크나이저를 Python으로 구현하고 성능이 중요한 산술 부호화기는 Zig 언어로 작성하여 ctypes로 호출하는 방식을 채택했다. 부호화기는 토큰당 f32 배열 형태의 확률 벡터를 소비하며 내부적으로 비트스트림 상태를 유지한다. 하지만 현재 구현은 토큰별 확률 계산 시 캐싱이나 배칭이 없어 zlib 대비 약 1600배 느린 실행 속도가 주요 병목 현상으로 지적됐다.

용어 해설

산술 부호화(Arithmetic Coding): — 데이터의 전체 메시지를 0과 1 사이의 하나의 소수 범위로 표현하여 압축하는 엔트로피 코딩 기법이다. 각 심볼의 발생 확률에 따라 구간을 나누고 정밀한 실수를 할당함으로써 허프만 코딩보다 이론적인 엔트로피 한계에 더 가까운 높은 압축률을 달성할 수 있다.
N-그램 모델(N-gram Model): — 텍스트에서 n개의 연속된 단어나 토큰의 시퀀스를 분석하여 다음 토큰이 나타날 확률을 예측하는 통계적 언어 모델이다. 이 아티클에서는 4-그램 모델을 사용하여 코드의 문법적 패턴을 학습하고 이를 압축을 위한 확률 추정에 활용했다.
엔트로피 코딩(Entropy Coding): — 정보 이론의 엔트로피 개념을 활용하여 데이터 내 심볼의 발생 빈도에 따라 가변 길이 부호를 할당하는 무손실 압축 방식이다. 자주 등장하는 데이터에는 짧은 부호를, 드물게 등장하는 데이터에는 긴 부호를 할당하여 전체 데이터 크기를 줄인다.

언급된 도구

zlib중립

범용 데이터 압축 라이브러리 (비교군)

Zig추천

산술 부호화기 구현을 위한 저수준 언어