밀도 인식 준동적 압축률 기반의 소프트 컨텍스트 압축

기존의 LLM 컨텍스트 압축은 정보가 많은 전문 문서와 중복이 많은 일상 대화를 똑같은 비율로 줄여 효율성이 낮았다. 이 논문은 텍스트의 정보 밀도를 스스로 판단하여 압축률을 조절하되, 모델이 혼란을 느끼지 않도록 '준동적(Semi-Dynamic)' 방식을 도입해 성능과 속도라는 두 마리 토끼를 잡았다.

Transformer 기반 LLM은 긴 문장을 읽을 때 모든 단어 사이의 관계를 기억해야 하므로 메모리 부하가 크다. 이를 해결하기 위해 문장을 짧은 벡터 뭉치로 압축하는 기술이 사용되지만, 기존에는 모든 문장을 똑같이 4분의 1, 8분의 1로 줄이는 고정 방식을 사용했다. 이는 중요한 정보가 밀집된 문장에서는 정보 손실을 일으키고, 불필요한 말이 많은 문장에서는 연산 낭비를 초래한다.

문제는 모델에게 '네가 알아서 적당한 길이로 줄여봐'라고 시키면(완전 동적 방식), 모델이 매번 바뀌는 출력 구조에 적응하지 못해 성능이 망가진다는 점이다. 이는 마치 숙련된 요리사에게 매번 규격이 다른 조리 도구를 주는 것과 같아 최적의 실력을 발휘하기 어렵게 만든다.

이 논문은 '준동적(Semi-Dynamic)'이라는 절충안을 제시한다. 모델이 먼저 문장의 밀도를 측정하게 한 뒤, 그 결과에 따라 '2배, 4배, 8배'처럼 미리 정해진 몇 가지 규격 중 하나를 골라 압축하게 한다. 이렇게 하면 모델은 익숙한 규격 안에서 작업하면서도, 문장의 특성에 맞춰 압축 강도를 조절할 수 있어 성능 저하 없이 효율성을 극대화할 수 있다.

Discrete Ratio Selector(DRS)는 인코더와 디코더 사이에서 연속적인 밀도 예측 신호를 이산적인 상태로 변환하는 스칼라 양자화기 역할을 수행한다. 인코더의 마지막 토큰 은닉 상태 $h_{last}$를 선형 회귀 헤드에 입력하여 로그 공간에서의 압축률 $\hat{y}$를 도출한다. [마지막 토큰 벡터 입력 → 선형 회귀 연산 → 로그 스케일 압축률 출력 → 텍스트의 정보 밀도 수치화]

사용자는 $scale$ 파라미터를 통해 전체적인 압축 강도를 제어할 수 있다. 예측값 $\hat{y}$에 $scale$을 더한 뒤 지수 함수를 적용하여 실제 비율 $\hat{r} = 2^{\hat{y} + scale}$을 구하고, 이를 후보 집합 $\mathcal{R} = \{2\times, 4\times, 8\times, 16\times, 32\times\}$ 중 가장 가까운 값으로 매핑한다. [$scale$ 값 입력 → 덧셈 및 지수 연산 → 최종 압축률 결정 → 성능과 효율성 사이의 사용자 맞춤형 균형 조절]

학습 데이터는 교사 LLM을 활용한 2단계 합성 과정을 거친다. 1단계에서는 일반적인 QA 및 요약 태스크를 생성하고, 2단계에서는 극도로 압축된 요약을 생성하여 그 길이를 정보 밀도의 정답 레이블로 사용한다. 전체 모델은 언어 모델링 손실과 밀도 예측의 평균 제곱 오차(MSE)를 결합하여 단일 단계로 공동 학습된다. [원본 길이와 요약 길이 비율 입력 → $\log_2$ 연산 → 밀도 레이블 생성 → 학습 시 데이터 분포의 불균형 해소 및 최적화 안정성 확보]

Qwen3-0.6B 및 4B 모델을 대상으로 한 실험에서 Semi-Dynamic 방식은 모든 압축률 구간에서 고정 비율(Static) 방식보다 높은 정확도를 보였다. 특히 4배에서 16배 사이의 중간 압축률 구간에서 성능 향상이 가장 뚜렷하게 나타났으며, 이는 모델이 텍스트의 다양성에 맞춰 압축률을 적응적으로 선택함으로써 얻은 결과임을 입증했다.

특징 추출 방식 비교에서는 Mean-pooling이 기존의 Compression Tokens 방식보다 우수한 성능을 기록했다. 대규모 사전 학습 없이 SFT만 수행하는 조건에서는 추가적인 학습 파라미터가 필요한 토큰 방식보다 입력 상태를 직접 평균 내는 방식이 정보 보존에 더 유리했다. 또한 인코더의 어텐션을 양방향(Bidirectional)으로 설정했을 때, 높은 압축률에서도 중요한 특징을 더 잘 포착하는 것으로 나타났다.

효율성 측면에서 제안된 단일 단계(Single-stage) 학습 파이프라인은 밀도 예측과 문맥 압축 기능을 동시에 학습하면서도, 별도의 모델을 사용하는 2단계 방식과 대등한 성능을 유지했다. 이는 추가적인 연산 오버헤드 없이도 텍스트 밀도 인식이 가능함을 시사한다.

전체 아키텍처는 Qwen3 기반의 인코더와 디코더, 그리고 이들을 연결하는 2계층 MLP 컨버터로 구성된다. 인코더는 양방향 어텐션을 사용하여 컨텍스트 전체의 맥락을 파악하며, 문장 끝에 추가된 <eos> 토큰의 은닉 상태를 활용해 텍스트의 정보 밀도를 예측한다.

핵심 메커니즘인 DRS는 '연속적 하이퍼파라미터 함정'을 피하기 위해 설계되었다. LLM은 고정된 연산 그래프 구조에 최적화되어 있어, 입력에 따라 연산 노드 수나 윈도우 크기가 무한히 변하는 환경에서는 그래디언트 전파가 불안정해진다. DRS는 이를 이산적인 선택지로 제한함으로써 최적화 안정성을 확보한다.

Mean-pooling 백본은 텍스트를 겹치지 않는 윈도우로 분할하고 각 윈도우의 평균 벡터를 추출한다. 이때 윈도우 크기 $S$는 선택된 이산 압축률 $r_{target}$의 역수로 결정되어 고정된 연산 구조를 유지한다. 학습 시에는 LoRA(rank=16)를 적용하여 파라미터 효율성을 높였으며, 1,000만 개의 합성 데이터를 통해 한국어와 영어 성능을 동시에 확보했다.

교사 모델이 생성한 요약 길이를 정보 밀도의 대리 지표로 사용하는 방식은 완벽하게 정밀하지 않을 수 있다는 한계가 있다. 또한 실험이 2,048 토큰 미만의 길이에 집중되어 있어, 수십만 토큰 이상의 초장거리 문맥에서의 확장성에 대해서는 추가적인 검증이 필요하다.