압축으로서의 추론: 조건부 정보 병목 현상을 통한 예산 강제화의 통합

LLM이 복잡한 문제를 풀 때 사용하는 '생각의 사슬(CoT)'은 정확도를 높이지만 추론 비용을 크게 증가시킵니다. 이 논문은 단순히 글자 수를 줄이는 대신, 정보 이론을 활용해 불필요한 중언부언만 골라내어 삭제함으로써 성능 저하 없이 운영 효율성을 극대화하는 새로운 표준을 제시합니다.

LLM의 Chain-of-Thought(CoT)는 복잡한 추론을 가능하게 하지만, 종종 '인지적 부풀림(cognitive bloat)' 현상을 겪는다. 기존의 해결책은 단순히 출력 길이를 제한하는 '길이 페널티'를 사용했는데, 이는 모든 토큰에 동일한 세금을 매기는 것과 같아서 중요한 논리 단계까지 삭제해버리는 부작용이 있었다. 이 논문은 추론 과정을 '정보의 압축'으로 본다. 핵심 아이디어는 프롬프트(X)에서 정답(Y)을 도출하는 데 꼭 필요한 정보만 추론 과정(Z)에 남기는 것이다.

이를 위해 정보 병목(Information Bottleneck) 이론을 사용하는데, Transformer 아키텍처는 Attention Mechanism 때문에 과거의 모든 정보를 직접 참조하므로 표준 이론을 그대로 적용할 수 없는 '어텐션 역설'이 발생한다. 연구진은 이를 해결하기 위해 '조건부 정보 병목(CIB)'을 도입했다. 프롬프트를 '측면 정보(side information)'로 간주하고, 추론 과정에서는 프롬프트에 이미 포함된 정보는 생략하고 정답을 맞히는 데 추가로 필요한 정보만 생성하도록 유도한다. 결과적으로 모델은 당연한 소리는 줄이고 핵심적인 논리에만 집중하게 된다.

CIB 목적 함수 설계. 목적 함수 $L_{CIB} = I(Z; Y | X) - \beta I(X; Z)$를 최대화하도록 설계했다. 여기서 $I(Z; Y | X)$는 프롬프트가 주어졌을 때 추론 과정이 정답에 기여하는 정보량(충분성)을, $I(X; Z)$는 프롬프트와 추론 과정 사이의 중복 정보량(최소성)을 의미한다.

시맨틱 정보 비용 계산. 정보 비용을 측정하기 위해 고정된 베이스 모델(Frozen Base Model)의 Surprisal을 활용한다. 토큰 $z_t$가 주어질 때 $-\log Q_\phi(z_t | z_{<t})$를 계산한다. [이전 토큰 시퀀스를 입력으로] → [베이스 모델의 확률 분포를 계산해 해당 토큰의 로그 확률을 구하고] → [그 값에 마이너스를 취해] → [해당 토큰이 얼마나 예측 불가능한 정보 가치를 담고 있는지]를 수치화한다.

강화학습 기반 최적화. GRPO(Group Relative Policy Optimization) 알고리즘을 사용하여 모델을 학습시킨다. 보상 함수는 정답 여부에 따른 정확도 보상($r_{acc}$)과 정보 비용에 따른 페널티($\beta r_{min}$)의 합으로 구성된다. $\beta$ 계수를 조절함으로써 정확도와 압축률 사이의 균형을 정밀하게 제어할 수 있다.

주요 수학 벤치마크 성능. Deepscaler-1.5B 모델에 적용했을 때, MATH500에서 토큰 사용량을 41% 줄이면서도 정확도 하락을 최소화했다. 특히 AIME24 벤치마크에서는 기존 길이 기반 페널티 모델(L3L1-EXACT)보다 훨씬 적은 토큰으로 더 높은 정확도를 기록하며 우수한 파레토 프론티어를 형성했다.

정보 밀도 분석. CIB로 학습된 모델은 토큰당 평균 정보량(Surprisal)이 베이스라인보다 높게 유지됨을 확인했다. 이는 모델이 예측 가능한 상투적인 문구나 반복적인 확인 루프를 제거하고, 논리적으로 밀도 높은 토큰들 위주로 추론 체인을 구성하게 되었음을 의미한다.

질적 분석 결과. 기하학 문제 풀이 시, 베이스라인 모델은 피타고라스 정리를 이용한 복잡한 좌표 계산에 집착하는 반면, CIB 모델은 간결한 삼각함수 항등식을 찾아내어 훨씬 짧은 단계로 정답에 도달하는 '알고리즘적 일반화' 현상이 관찰되었다.

Attention Paradox의 정의. 표준 IB는 $Y \leftrightarrow X \leftrightarrow Z$의 마르코프 체인을 가정하지만, Transformer의 디코더는 프롬프트 $X$와 생성 중인 $Z$ 모두에 직접 Attention을 수행하므로 $(X, Z) \rightarrow Y$의 Collider 구조를 형성한다. 이로 인해 표준 IB 목적 함수가 비효율적으로 작동함을 수학적으로 증명했다.

CIB 목적 함수의 변분 하한(Variational Lower Bound) 도출. 상호 정보량 $I(Y; Z | X)$를 직접 계산하는 것은 불가능하므로, 정답 검증기(Verifier) $Q_\rho$를 사용한 하한선을 유도했다. 결과적으로 정확도 보상은 정답 여부에 따른 이진 보상으로 근사화된다.

정보 비용의 변분적 근사. $I(X; Z)$의 최소화를 위해 훈련되지 않은(Frozen) 사전 모델 $Q_\phi$를 도입하여 $E_{X,Z}[-\log Q_\phi(Z)]$ 형태의 상한선을 사용한다. 이는 추론 체인의 크로스 엔트로피를 최소화하는 것과 같으며, 결과적으로 '가치 기반 세금(Value-added tax)'을 토큰마다 매기는 효과를 준다.

학습 설정 및 하이퍼파라미터. 8개의 NVIDIA H100 GPU 환경에서 GRPO를 사용하여 150 스텝 동안 파인튜닝을 진행했다. KL 페널티 계수 $\beta_{KL}$은 $5e-4$로 고정하고, CIB 정규화 가중치 $\beta$를 $5e-5$에서 $1.5e-4$ 사이에서 조절하여 압축 강도를 제어했다.

본 연구에서 제안한 방법론은 훈련 시 참조할 수 있는 사전 언어 모델(Reference Prior)에 대한 의존성을 도입하며, 이 사전 모델의 품질이 압축 성능과 정확도 사이의 트레이드오프에 영향을 미친다.