잠재 증류를 통한 대형 언어 모델의 탐색적 샘플링

표준적인 확률적 샘플링은 겉모습만 다른 문장을 생성할 뿐 실제 추론 전략의 다양성을 확보하지 못하는 한계가 있다. 이 논문은 모델 내부의 잠재 표현을 실시간으로 학습하여 이미 탐색된 경로를 피하고 새로운 의미적 영역을 탐색하게 함으로써 추론 성능과 효율성을 동시에 개선한다.

기존의 LLM 샘플링 방식은 Softmax 확률 분포에 무작위성을 더해 토큰 수준의 변화를 주지만, 이는 단어 선택만 바뀔 뿐 논리적 구조는 동일한 중복 답변을 양산하는 경우가 많다. 신경망은 이전에 경험한 데이터와 유사한 입력에 대해서는 예측 오차가 낮고, 새로운 패턴에 대해서는 오차가 높다는 특성을 가진다.

ESamp는 이 원리를 이용해 모델 내부의 '의미적 참신함'을 측정한다. 생성 중에 LLM의 초기 레이어 정보를 입력받아 최종 레이어 정보를 예측하도록 아주 작은 보조 모델(Distiller)을 실시간으로 학습시킨다. 만약 보조 모델이 다음 상태를 잘 예측한다면 이는 이미 익숙하거나 중복된 논리 경로임을 의미하며, 예측 오차가 크다면 새로운 의미적 시도임을 나타낸다.

결과적으로 모델은 예측 오차가 큰, 즉 '새로운 시도'에 해당하는 토큰에 더 높은 점수를 주어 생성 방향을 유도한다. 이를 통해 단순한 단어 교체가 아닌, 근본적으로 다른 추론 전략을 가진 답변들을 생성하게 되어 복잡한 문제 해결 능력이 비약적으로 상승한다.

ESamp는 LLM 생성을 마르코프 결정 과정(MDP)으로 모델링하고, KL-regularized 최적화 목적 함수를 통해 참신함에 대한 내재적 보상(Intrinsic Reward)을 정의한다. 핵심 구성 요소인 Latent Distiller(LD)는 2계층 MLP 구조로, 얕은 층의 은닉 표현 h¹을 입력받아 깊은 층의 표현 hᴸ을 예측하는 fφ(h¹) → ĥᴸ 연산을 수행한다.

생성된 토큰의 실제 깊은 층 표현 hᴸ과 예측값 ĥᴸ 사이의 유클리드 거리를 계산하여 오차 벡터 e = hᴸ - ĥᴸ을 구한다. 이 오차 벡터의 크기 ||e||₂는 문맥의 참신함을 나타내며, 언어 모델 헤드(Whead)의 가중치와 오차 벡터 사이의 코사인 유사도 cos(wz, e)를 통해 각 후보 토큰 z가 참신한 방향으로 생성을 유도하는지 평가한다.

최종적으로 새로운 샘플링 로짓은 기존 로짓에 탐색 강도 β와 참신함 점수를 곱해 더한 logit_new = logit_ref + β(logit_ref - logit_dist) 형태로 계산된다. 이 과정은 비동기 CUDA 스트림을 통해 구현되어, LLM의 중간 레이어 연산 중에 Distiller의 추론이 병렬로 이루어지고 GPU의 유휴 시간에 Distiller의 가중치가 업데이트된다.

AIME24, AIME25와 같은 고난도 수학 벤치마크에서 ESamp는 표준 샘플링 대비 월등한 Pass@k 효율을 보였다. 특히 GPT-OSS-20B 모델에서 ESamp의 Pass@8 결과는 기존 베이스라인의 Pass@64 결과와 맞먹는 효율성을 입증했다.

창의적 글쓰기 실험에서도 Vendi Score(다양성 지표)가 1.62에서 1.67로 상승하는 동시에 Perplexity(언어적 일관성)는 4.08에서 3.55로 낮아져, 다양성과 품질 사이의 트레이드오프를 극복했음을 확인했다. 효율성 측면에서는 RTX4090 GPU 기준 1.2%에서 4.25% 수준의 매우 낮은 처리량 오버헤드만 기록했다.

ESamp는 RND(Random Network Distillation) 개념을 LLM의 내부 잠재 공간으로 확장했다. 고차원 이산 분포인 어휘 공간 대신 연속적인 은닉 표현 공간에서 참신함을 측정함으로써 온라인 학습의 안정성을 확보했다. 아키텍처적으로는 vLLM 프레임워크 위에 tLLM이라는 런타임 레이어를 구축하여 모델 수정 없이 훅(Hook)을 통해 내부 상태를 추출하고 제어한다. 수학적으로는 토큰 수준의 KL-regularized 강화학습 프레임워크를 따르며, 닫힌 형태(Closed-form)의 최적 정책 솔루션을 샘플링 로짓 수정에 직접 적용한다.

논문은 Distiller가 특정 문맥에 너무 빠르게 적응(Rapid Fitting)할 경우 일시적인 참신함 신호가 사라질 수 있으며, 매우 이질적인 문제들이 섞인 배치 환경에서는 공유 Distiller가 간섭을 일으킬 가능성이 있음을 언급했다.