DroPE: 사전 학습된 LLM의 위치 임베딩 제거를 통한 컨텍스트 확장

섹션별 상세

기존 Transformer 아키텍처에서 RoPE와 같은 명시적 위치 임베딩은 학습 수렴에 결정적인 역할을 하지만, 사전 학습된 길이를 넘어서는 시퀀스에 대해서는 모델의 일반화 능력을 제한하는 주요 원인이 된다.

위치 임베딩이 없는 모델(NoPE)은 긴 길이에 대한 외삽(Extrapolation) 능력이 뛰어나지만 처음부터 학습하기에는 매우 불안정하다는 단점이 있는데, DroPE는 학습 시에는 임베딩을 사용하고 추론 시에는 이를 제거하여 두 방식의 장점을 결합했다.

DroPE를 적용한 모델 재보정(Recalibration) 과정은 원래 사전 학습 예산의 1% 미만을 사용하면서도 LongBench 및 RULER와 같은 고난도 벤치마크에서 기존의 RoPE 스케일링 방식보다 우수한 성능을 입증했다.

이론적 분석 결과, NoPE Transformer는 그래디언트 소실 문제로 인해 어텐션 패턴 학습이 어렵고, 표준 RoPE 스케일링은 저주파 성분을 압축하여 의미론적 어텐션을 왜곡하지만, DroPE는 두 문제를 모두 우회하여 의미론적 전이 없이 컨텍스트를 확장한다.

회전식 위치 임베딩(RoPE): — Transformer 모델에서 토큰의 상대적 위치 정보를 주입하기 위해 사용되는 기법이다. 학습된 길이보다 긴 문장에서는 성능이 급격히 저하되는 외삽 문제가 발생하기 쉽다.
외삽(Extrapolation): — 모델이 학습 과정에서 경험하지 못한 더 긴 시퀀스 길이에 대해 성능을 유지하며 예측을 수행하는 능력이다. LLM의 컨텍스트 확장 연구에서 핵심적인 평가지표로 활용된다.
그래디언트 소실(Vanishing Gradient): — 딥러닝 학습 중 역전파 과정에서 그래디언트가 너무 작아져 가중치 업데이트가 제대로 이루어지지 않는 현상이다. 위치 임베딩이 없는 모델의 초기 학습을 어렵게 만드는 주요 원인이다.
롱벤치(LongBench): — 긴 컨텍스트를 처리하는 LLM의 능력을 다각도로 평가하기 위한 벤치마크 데이터셋이다. 요약, 질의응답 등 긴 문맥 이해가 필수적인 작업들로 구성되어 있다.