Jet-Long: 동적 이중 초점 RoPE로 무튜닝 장문 컨텍스트 확장

대형 언어 모델은 실제 배포에서 수만~십만 토큰에 달하는 긴 대화와 에이전트 히스토리를 처리해야 할 때가 늘어나고 있으며, 훈련 창을 넘는 입력에 대해 모델이 안정적으로 동작하도록 만드는 것이 운영상의 핵심 과제이다. Jet-Long은 별도 미세조정 없이도 짧은 문맥 성능을 훼손하지 않으면서 긴 문맥에서 훈련 분포 내 위치 회전을 유지해 검색 기반 생성과 리포지토리 단위 코드 이해 같은 긴 문맥 응용에서 성능 저하를 막는다. 또한 CuTe 융합 커널을 통해 실제 GPU 생성 비용에서의 오버헤드를 거의 제거해 실무에서 즉시 적용 가능한 무튜닝 솔루션을 제공한다.

Transformer 기반 모델의 RoPE는 각 위치마다 주파수별 회전 각을 적용해 어텐션이 상대적 위치에 의존하게 만든다. 이 회전 각은 훈련 중 관측된 이산적 각 격자 위에서 학습되며, 훈련 창을 넘는 위치에서는 회전 각이 분포 밖으로 나가 어텐션 점수가 불안정해지는 position-OOD 문제가 발생한다. 또한 키 집합이 커질수록 softmax 분포가 평탄해져 관련 토큰에 대한 확률이 확산되는 attention diffusion 현상이 따로 존재한다. Jet-Long은 position-OOD 문제를 직접 겨냥해 원격 위치를 훈련 시 관측된 이산 각 격자로 별칭하는 방식으로 근본 원인을 해소한다.

Jet-Long의 핵심은 두 창을 병렬로 운영하는 이중 초점 구조와 원격 위치를 훈련 분포 내로 별칭하는 동적 그룹화 규칙이다. 그룹 크기 G는 현재 시퀀스 길이 L과 훈련 창 w_pretrained에 기반해 G = max(1, ceil(L / w_pretrained))로 정의되며 원격 매핑은 f(x)=⌊x/G⌋이다. 수식 f(x)=⌊x/G⌋의 의미는 다음과 같다. 첫째, 수식 원문은 f(x)=⌊x/G⌋이다. 둘째, 기호 의미는 x는 절대 위치, G는 시퀀스 길이에 따라 계산된 정수 그룹 크기이다. 셋째, 계산 흐름은 입력 위치 x를 G로 나눈 뒤 내림하여 훈련 창 내의 인덱스로 매핑하는 방식으로 동작한다. 넷째, 작은 숫자 예시로 L=65536, w_pretrained=32768이면 G=ceil(65536/32768)=2이고 f(65535)=⌊65535/2⌋=32767이 되어 원격 위치가 훈련 창 끝의 인덱스로 별칭된다. 다섯째, 이 값 변화의 해석은 원격 토큰들이 훈련에서 실제로 본 회전 각으로 매핑되어 position-OOD를 방지한다.

Jet-Long은 Qwen3-1.7B/4B/8B의 RULER 평균 정확도에서 기존 최고 제로샷 기법들보다 우수한 성능을 보였으며 표에서 1.7B/4B/8B에 대해 각각 73.93/83.02/86.74의 RULER 점수를 기록했다. PG-19 장문 퍼플렉시티에서는 Jet-Long이 1.7B/4B/8B에 대해 11.71/9.85/8.73의 기하평균 값을 달성해 긴 문맥에서 베이스 모델보다 현저히 낮은 퍼플렉시티를 유지했다. 인퍼런스 효율성 측정에서는 H100에서 CuTe 융합 커널을 사용했을 때 prefill에서 FA2 대비 최대 1.39×의 속도 향상을 보였고 생성 시에는 모든 길이에서 ≤4%의 오버헤드로 FA2 성능에 근접해 실용적 비용 증가가 거의 없었다.

전체 아키텍처는 로컬 윈도우(w0)와 원격 윈도우를 동시에 평가하는 이중 창 구조로 설계되어 있으며 로컬에서는 원본 RoPE가 그대로 적용된다. 원격 윈도우는 f(x)=⌊x/G⌋ 매핑을 통해 절대 위치를 훈련 범위 내의 인덱스로 별칭하고, G는 G = max(1, ⌈L / w_pretrained⌉)으로 계산된다. 수식 G = max(1, ceil(L / w_pretrained))의 의미는 다음과 같다. 첫째, 식 자체는 G = max(1, ceil(L / w_pretrained))이다. 둘째, 기호 의미는 L은 현재 시퀀스 길이, w_pretrained는 모델의 native 훈련 창이다. 셋째, 계산 흐름은 시퀀스 길이를 훈련 창으로 나눈 값을 올림하여 최소 압축 비율을 결정하고 G로 사용한다. 넷째, 예시로 L=100000, w_pretrained=32768이면 ceil(100000/32768)=4이므로 G=4가 되어 원격 위치가 1/4 해상도로 별칭된다. 다섯째, 해석은 G가 커질수록 원격 회전 각을 훈련 격자로 정확히 맞출 수 있지만 위치 해상도가 줄어드는 트레이드오프를 의미한다.

Jet-Long은 근본적으로 RoPE 기반의 softmax 어텐션을 전제로 설계되어 RoPE가 적용되지 않은 아키텍처나 NoPE 기반 모델에는 직접 적용할 수 없다. attention diffusion 문제 자체는 이 접근의 대상이 아니며, softmax 분포 평탄화에 따른 성능 저하는 별도의 온톨로지나 아키텍처 변경으로 보완해야 한다. 또한 본 논문 실험은 최대 128K 길이까지 평가되었으며 이를 넘는 매우 장기 컨텍스트에서는 하이브리드 매핑 전략의 추가 검증이 필요함이 명시되어 있다.