LongAct: 긴 컨텍스트 강화학습을 위한 고유 활성화 패턴 활용

긴 문맥을 처리할 때 LLM 내부의 모든 파라미터를 업데이트하는 대신, 추론에 결정적인 역할을 하는 고유한 활성화 패턴에 집중하여 학습 효율과 성능을 동시에 잡았습니다. 이는 긴 문서 이해와 복잡한 추론이 필요한 AI 에이전트 개발에 있어 자원 소모를 줄이면서도 정확도를 높일 수 있는 새로운 방향을 제시합니다.

Transformer의 Self-Attention 메커니즘은 입력된 토큰들 사이의 관계를 계산하기 위해 Query(Q)와 Key(K) 벡터를 생성한다. 기존의 강화학습 방식은 모델의 모든 가중치를 균일하게 업데이트하려고 시도하지만, 실제 긴 문맥을 처리할 때 모델 내부를 들여다보면 모든 차원이 동일하게 중요하지 않다는 사실을 발견할 수 있다.

연구진은 특정 차원에서 유독 값이 크게 튀는 '고강도 활성화(High-magnitude activations)' 현상에 주목했다. 이는 모델이 긴 정보 속에서 중요한 연결 고리를 찾을 때 사용하는 일종의 '지지대'와 같다. 마치 복잡한 지도에서 주요 거점 도시들만 연결해도 전체 경로를 파악할 수 있는 것과 유사한 원리다.

LongAct는 이러한 핵심 차원들과 연결된 가중치만을 선택적으로 업데이트한다. 나머지 덜 중요한 부분은 고정(Freeze)함으로써 학습의 노이즈를 줄이고, 모델이 긴 문맥의 논리적 흐름을 유지하는 데 필요한 핵심 회로를 정밀하게 튜닝할 수 있게 한다. 결과적으로 모델은 더 적은 파라미터 수정만으로도 긴 문서에 대한 고도의 추론 능력을 확보하게 된다.

LongAct는 사전 분석 단계와 동적 업데이트 단계로 구성된다. 먼저 Preliminary 단계에서는 모델이 긴 문맥을 처리할 때 Q와 Key 벡터의 각 헤드(Head)별 차원들의 L2-norm을 계산하여 활성화 강도를 측정한다. [입력 히든 상태 → 선형 투영 → Q/K 벡터 생성 → 시퀀스 차원 평균 L2-norm 계산 → 각 차원의 중요도 수치화]

핵심 메커니즘인 Dynamic Saliency-guided Updates에서는 측정된 중요도를 바탕으로 상위 k%의 차원을 선택한다. 이를 위해 각 헤드 내에서 Top-k 선택을 수행하여 멀티헤드 구조를 보존한다. [중요도 행렬 입력 → 헤드별 상위 차원 인덱스 추출 → 이진 그래디언트 마스크(GQ, GK) 생성 → 특정 행의 학습 가능 여부 결정]

학습 과정에서는 역전파(Backpropagation) 시 생성된 마스크를 그래디언트에 적용하여 선택된 가중치만 갱신한다. [계산된 그래디언트 ∇W → 마스크 G와 원소별 곱셈(⊙) 수행 → 최종 업데이트 값 산출]. 이 방식은 전체 파라미터를 업데이트하는 것보다 연산 오버헤드가 거의 없으면서도 최적화 효율을 극대화한다.

Qwen3-8B 모델을 기반으로 한 실험에서 LongAct는 LongBench v2 전체 점수 36.73을 기록하여, 표준 강화학습 방식인 DAPO(32.80) 대비 약 4%p, SFT 모델(27.04) 대비 약 9.6%p 향상된 결과를 보였다. 특히 난이도가 높은 'Hard' 세트에서 35.93점을 기록하며 다른 베이스라인들을 압도했다.

RULER 벤치마크의 128K 컨텍스트 환경에서도 평균 51.15점을 기록하여 기존 모델들보다 우수한 일반화 성능을 입증했다. Ablation study 결과, 무작위(Random)로 가중치를 선택하거나 낮은 강도의 활성화를 선택해 업데이트했을 때는 성능 향상이 미미하거나 오히려 하락하여, 고강도 활성화 패턴을 타겟팅하는 것이 핵심임을 증명했다.

또한 GSM8K, HumanEval 등 짧은 문맥의 추론 작업에서도 성능 저하 없이 오히려 점수가 상승하는 결과를 보여, LongAct가 긴 문맥 특화 기술일 뿐만 아니라 전반적인 모델의 추론 능력을 강화하는 견고한 최적화 도구임을 확인했다.

LongAct는 긴 문맥 추론이 잠재 공간(Latent space) 내의 특정 '사고 궤적'에 의존한다는 가설에서 출발한다. 연구진은 Qwen3 모델의 Q, K, V 투영 행렬에서 발생하는 이상치(Outlier) 활성화가 컨텍스트 이해의 핵심임을 발견했다. 수학적으로는 각 헤드 h와 차원 d에 대해 배치 B와 시퀀스 S에 걸친 평균 제곱합의 제곱근을 사용하여 중요도 행렬 M을 정의한다.

업데이트 전략에서는 전체 가중치 중 약 30%의 고강도 활성화 관련 행(Row)만을 학습 대상으로 삼는 희소성 비율(Sparsity ratio) λ=0.3이 가장 효과적임을 실험적으로 찾아냈다. 이는 RL 파인튜닝이 본질적으로 희소한 업데이트를 선호한다는 최근 연구 결과와 일치한다. 추론 시에는 학습된 가중치를 그대로 사용하므로 추가적인 연산 지연(Latency)이나 아키텍처 변경이 전혀 필요 없는 것이 특징이다.

컴퓨팅 자원의 한계로 인해 더 큰 규모의 모델(예: 70B 이상)에 대한 확장성 실험은 수행되지 않았으며, 향후 연구에서 모델 크기에 따른 스케일링 효과를 탐구할 필요가 있다.