Self-Guided TTT: 모델 자가 선택 스팬으로 긴 컨텍스트의 테스트-타임 적응을 향상한 연구

긴 컨텍스트를 지원하는 모델이 늘어남에도 불구하고 중요한 증거를 파악하지 못하면 정확도가 떨어지는 문제가 잦았다. Self-Guided TTT는 테스트 시점에 모델이 질문과 관련된 문맥 구간만을 골라내어 그 토큰들로만 인스턴스별 적응을 수행함으로써 불필요한 잡음으로 인한 성능 저하를 완화했다. 이 방식은 긴 입력에서 증거 선택이 적응 효과를 좌우한다는 관점을 확인하고 실제 벤치마크에서 의미 있는 정확도 향상과 처리 비용 관점에서의 이득을 함께 보여주었다.

문제의 출발점은 긴 시퀀스에서 유의미한 증거 토큰이 전체 토큰 대비 매우 작은 비율을 차지하며, Transformer 기반 모델이 모든 토큰 쌍을 동등하게 처리할 때 적응 신호가 잡음에 묻혀버린다는 점이다. 기존 접근은 전체 문맥을 대상으로 적응하거나 무작위 스팬을 샘플링하는데, 전자는 계산 비용이 크고 후자는 관련 증거를 놓쳐 오히려 성능을 손상시킨다. 따라서 핵심은 어떤 토큰으로 적응할지를 결정하는 데이터 질 문제이다.

Self-Guided TTT는 두 단계로 구조화되어 있다. 첫 단계에서 모델은 전체 문맥과 질문을 입력받아 원문에서 연속된 증거 스팬들을 verbatim으로 표지한다. 이 표지는 질문-조건부 판단으로 instance별 학습 데이터를 구성하는 역할을 하며 최종 생성 단계에서는 원문 전체가 여전히 사용되므로 스팬 선택은 적응 데이터만 결정한다. 선택된 스팬에 대한 적응은 next-token 예측 손실을 사용하여 이루어진다. 손실 함수는 L_TTT(theta') = - sum_{i=s_j}^{e_j} log p_{theta'}(x_i | x_{<i})로 표현된다. 여기서 x_{s_j..e_j}는 선택된 연속 토큰 구간을 뜻하며 손실은 해당 스팬의 각 토큰에 대해 모델이 이전 토큰들을 조건으로 계산한 확률의 로그를 음수로 합한 값이다. 이 값을 미분하여 LoRA로 parameter-efficient한 업데이트를 N 스텝 수행하고 적응된 파라미터로 전체 문맥을 조건화해 최종 출력을 생성한다. 시스템 측면에서 실제 구현은 성능과 비용을 고려해 몇 가지 설계 선택을 병행했다. 스팬 길이와 최대 선택 수를 제한해 적응 창의 크기를 제어하고, 모델이 유효한 스팬을 내놓지 못하면 무작위 스팬을 폴백으로 사용하는 안전 장치를 둔다. 또한 LoRA를 통해 전체 가중치 대신 저순위 보정 행렬만 갱신하여 단일 인스턴스당 16회 업데이트 같은 짧은 적응 루틴으로 실험을 진행했다.

초기 진단에서 Qwen3-4B-Thinking-2507 기준으로 무작위 스팬 TTT는 LongBench-v2에서 기준 모델 40.4%에서 38.9%로 정확도를 오히려 낮췄고, 오라클 스팬 적응은 45.9%로 크게 향상되어 학습 토큰 품질이 결정적임이 확인되었다. 전체 비교 실험 결과에서 Qwen3 기준 LongBench-v2의 <64k 구간에서 기준 모델 46.7% 대비 S-TTT는 47.7%로 상승했고 64k–128k 구간에서도 S-TTT는 35.3%로 다른 TTT 방법보다 우수한 성능을 보였다. Llama-3.1-8B-Instruct에서도 S-TTT는 LongBench-v2의 여러 길이 구간과 LongBench-Pro에서 기준 모델 대비 일관된 개선을 보였으며 논문은 최대 15% 상대 성능 향상을 보고했다. 비교 항목별로 보면 QRHead 기반 스팬 선택은 짧은 문맥에서 경쟁력을 보였으나 문맥이 길어질수록 안정성이 떨어졌다. 내부 불확실성 지표로 스팬을 고르는 perplexity나 entropy 기반 선택은 질문-조건부 모델 표지보다 덜 효과적이었고 특히 긴 문맥 구간에서 성능 차이가 크게 나타났다. 사례 연구로 attention 시각화를 제시했으며 적응 후 모델의 질문-대응 attention이 선택된 스팬 주변에서 국소적으로 강해진 것이 관찰되어 하나의 작동 메커니즘을 제공했다. 효율성 측면에서 엔드투엔드 레이턴시 측정 결과 S-TTT는 짧은 문맥에서 초기 비용이 더 높았으나 컨텍스트가 커질수록 Full Context TTT와 Random Span TTT보다 비용 우위를 확보했다. 실험은 NVIDIA H200 단일 GPU 환경에서 수행되었고 문맥 길이 128k 구간에서는 비고정 KV 캐시 방식의 TTT 중 S-TTT가 가장 낮은 레이턴시를 기록했다.

전체 아키텍처는 베이스 LLM을 그대로 유지하되 인스턴스별로 파라미터를 복제하여 짧은 적응을 수행하는 구조이다. 스팬 선택기는 동일한 베이스 모델을 프롬프트로 구동해 원문에서 질문 관련 연속 토큰 구간을 verbatim으로 출력하도록 구성되며 최대 8개의 스팬을 선택할 수 있게 제한했다. 선택 스팬이 존재하지 않으면 무작위 스팬으로 폴백한다는 운영 규칙이 명시되어 있다. 핵심 수학적 메커니즘은 next-token 예측 손실에 기반한 미분 업데이트이다. 선택된 스팬 x_{s_j..e_j}에 대해 손실 L_TTT(theta')를 정의하고 이 손실의 기울기를 LoRA 파라미터만 갱신하는 방식으로 적용한다. LoRA 적용으로 전체 가중치를 갱신하지 않으면서도 인스턴스별 적응이 가능하며 실험에서는 인스턴스당 16회 그라디언트 업데이트를 수행했다. Prior work 대비 차별점은 적응 대상 토큰을 모델 자체가 질문-조건부로 표지한다는 점이다. 기존 TTT 변형은 전체 문맥을 나누어 순차 적응하거나 무작위 창을 샘플링하거나 KV 캐시를 고정한 채 일부 매개변수만 업데이트하는 방식에 집중했으나 본 방법은 학습 데이터의 품질을 우선시해 해당 스팬으로만 적응하는 설계를 취했다. 구현 세부사항으로는 Qwen3 토크나이저를 문맥 길이 측정에 사용했고 vLLM을 추론에, PyTorch FSDP를 학습에 사용하여 레이턴시 측정과 효율성 비교를 수행했다.

논문은 스팬 표지 단계의 비용이 짧은 문맥에서는 적응 비용을 상쇄하지 못해 오히려 총 비용이 증가할 수 있음을 명확히 보고했다. 모델이 유효한 스팬을 출력하지 못하는 경우 폴백으로 무작위 스팬을 사용하게 되며 이 폴백의 빈도는 실제 배포에서 성능 변동을 유발할 가능성이 있다. 또한 실험은 특정 모델들 및 하드웨어 환경(H200 단일 GPU)에 한정되어 있어 다른 모델 규모나 배포 인프라에서의 성능과 비용 특성은 추가 검증이 필요하다.