고정된 대형 언어 모델을 위한 증거 하이라이팅 학습

긴 문맥을 처리할 때 LLM이 핵심 정보를 놓치는 'Lost in the Middle' 현상을 해결하기 위해, 모델을 수정하지 않고도 입력 텍스트에 하이라이트 태그를 삽입하여 주의를 집중시키는 경량화 프레임워크를 제안합니다. 이는 API 기반의 폐쇄형 모델에도 적용 가능하며, 한 번 학습된 하이라이팅 정책이 다른 모델로도 전이될 수 있음을 입증했습니다.

Transformer 아키텍처의 Self-Attention 메커니즘은 시퀀스가 길어질수록 노이즈와 핵심 정보 사이에서 주의력을 잃기 쉽다. 특히 긴 문서의 중간 부분에 위치한 결정적인 증거를 무시하는 경향이 있는데, 이는 모델의 추론 능력 부족이라기보다 방대한 입력값 내에서 '어디를 봐야 할지' 결정하는 선택의 문제에 가깝다.

HiLight는 이 문제를 해결하기 위해 텍스트를 요약하거나 삭제하는 대신, 인간이 중요한 문장에 형광펜을 칠하듯 입력 텍스트에 <start_important>와 같은 마커를 삽입한다. 이는 모델의 임베딩(Embedding) 공간을 직접 건드리지 않고도 자연어 수준에서 모델의 Attention을 유도하는 방식이다.

결과적으로 고정된(Frozen) 상태의 거대 모델은 복잡한 증거 탐색 과정에서 해방되어 자신이 가장 잘하는 '추론'에만 집중할 수 있게 된다. 이는 정보의 손실 없이 모델의 인지적 부하를 줄여주는 효과를 가져온다.

HiLight는 경량화된 Emphasis Actor와 고정된 Solver LLM으로 구성된다. Actor는 입력 텍스트 [Q; X]를 인코딩하여 각 토큰 hi에 대해 중요도 확률 pi를 계산한다. [hi → Linear + LayerNorm → pi] 과정을 거쳐 토큰별 확률 맵을 생성한다.

학습 시에는 Bernoulli 분포에서 마스크 M을 샘플링하고, 정해진 예산 γ 내에서 상위 k개 토큰을 선택하는 Projk 연산을 수행한다. 선택된 토큰들은 인접한 경우 하나의 Span으로 병합(Coalescence)되며, 양 끝에 하이라이트 태그가 삽입되어 강조된 문맥 X^가 생성된다.

최적화는 Grouped Policy Gradient를 사용한다. 동일한 입력에 대해 여러 개의 마스크를 샘플링하여 Solver에 입력하고, 얻어진 태스크 보상 rj를 그룹 내에서 정규화하여 Advantage를 계산한다. [rj → Mean/Std 정규화 → Advantage Aj] 과정을 통해 Solver의 그래디언트 없이도 Actor를 업데이트한다.

Amazon-Beauty 데이터셋에서 Manual Instruction 대비 HR@10 기준 27.53%, NDCG@10 기준 27.27%의 대폭적인 성능 향상을 기록했다. 이는 정보가 매우 희소한(Sparse) 환경에서 하이라이팅의 효과가 극대화됨을 보여준다.

HotpotQA와 같은 추론 집약적 태스크에서도 기존의 강력한 프롬프트 최적화 기법(DSPy, OPRO 등)보다 우수한 성능을 보였다. 특히 텍스트를 삭제하는 Pruning 방식이 HotpotQA에서 성능 저하를 일으킨 것과 달리, HiLight는 문맥을 보존함으로써 추론에 필요한 연결 고리를 유지했다.

효율성 측면에서 HiLight는 Solver 호출 횟수를 기존 RL 기반 기법(PRL) 대비 10분의 1 수준인 12K회로 줄이면서도 더 높은 정확도를 달성했다. 추론 시 추가되는 오버헤드는 전체 파이프라인 지연 시간의 1.3%~2.9% 수준에 불과했다.

Actor 모델은 Qwen 계열의 소형 모델(0.6B~4B)을 기반으로 하며, 마지막 4개 레이어의 히든 스테이트를 Convex Combination하여 토큰 특징량을 추출한다. 학습 안정성을 위해 하드 버젯 제약 외에도 Target-length Regularization과 Entropy Bonus를 손실 함수에 포함했다. Solver 모델은 Qwen3-14B를 기본으로 사용했으나, GPT-5 mini와 같은 API 모델로의 제로샷 전이에서도 유효한 성능 이득을 확인하여 하이라이팅 정책의 범용성을 입증했다.

하이라이팅 결정이 결정적(Deterministic)이지 않은 경우 추론 일관성이 떨어질 수 있으며, 현재 연구는 단일 턴 질의응답에 집중되어 있어 멀티턴 대화에서의 캐시 효율성 문제는 향후 과제로 남아있다.