RoboTTT: 로봇 정책을 위한 8K 타임스텝 장기 컨텍스트 확장

로봇 정책은 짧은 히스토리만을 조건으로 삼아 장기 과제에서 단계 혼동과 부분 관찰로 인한 실패가 잦았다. RoboTTT는 추론 시에도 업데이트되는 빠른 가중치를 통해 긴 시간 축의 문맥을 파라미터 공간에 압축함으로써 메모리나 추론 지연을 늘리지 않고도 장기 의사결정을 가능하게 했다. 이로 인해 한 번의 인간 시연으로 작업을 모방하거나 배포 중 스스로 성능을 개선하는 등 기존 단기 컨텍스트 모델에서 불가능했던 실시간 적응 능력이 확보되었다.

로봇 시퀀스 모델은 연속된 관찰과 행동의 히스토리를 조건으로 정책을 생성해야 하지만, 모든 이전 키-값 쌍을 보관하고 매 스텝 어텐션을 수행하는 풀 어텐션 방식은 메모리와 연산이 시퀀스 길이에 따라 급격히 증가한다. 따라서 긴 시퀀스에서 실시간 제어를 유지하려면 문맥을 더 압축된 형태로 저장하면서 필요한 정보를 검색할 수 있는 메커니즘이 필요하다. RoboTTT는 이 문제에 대해 빠른 가중치라는 대체적 순환 상태를 도입해 문맥을 파라미터 공간에 순차적으로 학습시키고, 이후 쿼리에서 이 파라미터를 통해 관련 정보를 꺼내 쓰도록 설계했다.

RoboTTT의 전체 구조는 VLM(vision-language model) 백본과 DiT(Diffusion Transformer) 액션 헤드에 각 레이어마다 TTT 블록을 삽입하는 형태이다. 각 타임스텝에서 타임스텝별로 생성된 register 토큰과 상태·액션 토큰은 먼저 per-timestep attention을 통해 처리된 뒤 시간축으로 연결되어 TTT 레이어가 fast weight를 갱신하고 적용한다. 학습에서는 내부 fast-weight 손실(L_FW)을 통해 키-값 연관을 학습시키고 외부 flow-matching 손실로 액션 복원을 목표로 하며 W0(초기 fast weights)와 투사 행렬들을 외부 손실의 그래디언트를 통해 메타학습한다.

세 가지 실세계 장기 조립 과제(Pup Go Car, Circuit, Gear Bot)에서 RoboTTT는 평균 과제 완수 점수 79%를 기록해 단일 스텝 기반 GR00T N1.7(42%)보다 87% 상대 개선을 보였고 최상위 경쟁자 GDN(56%)보다도 큰 폭으로 앞섰다. 사전학습 컨텍스트 길이를 단계적으로 늘린 실험에서 RoboTTT는 128→8K로 갈수록 닫힌 루프 성능이 꾸준히 상승해 8K 사전학습이 1K 대비 63% 상대 향상을 달성했다. 추가로 한 번의 인간 시연으로 구성 정보를 추출해 모방하는 one-shot in-context imitation에서 RoboTTT는 10회 중 6회의 완전 성공을 기록한 반면 GDN은 성공이 없었다.

모델 아키텍처는 사전학습된 GR00T N1.7을 기반으로 16개의 DiT 레이어 각각에 fast model(Two-layer MLP)을 삽입하고 register tokens(N=16)을 각 타임스텝에 추가해 VL 정보를 시간축으로 전달했다. TTT의 핵심 수학적 동작은 각 타임스텝의 키 K_t와 값 V_t를 fast model f_W의 입력·출력으로 대응시키는 MSE 손실 L_FW를 통해 fast weights W를 W_t ← W_{t-1} - η ∇W L_FW(f{W_{t-1}}(K_t), V_t)로 갱신하고, 업데이트된 W_t로 쿼리 Q_t에 대해 O_t = f_{W_t}(Q_t)을 계산하는 '업데이트 후 적용' 사이클이다. 학습은 sequence action forcing을 사용한 flow-matching 손실과 TBPTT를 조합해 수행되며, 각 액션 청크별로 τ_t를 독립적으로 샘플링해 노이즈 수준을 분리함으로써 시퀀스 학습의 불안정성을 줄였다.

사전학습 컨텍스트 길이를 늘리면 전체 학습 비용이 증가해 계산 자원이 많이 필요하다. 논문에서 사용한 TTT 설정은 일반화 가능성이 보였지만 TTT 레이어를 위한 로봇 특화 자기지도 목표나 더 효율적 트레이닝 기법이 추가적으로 필요할 수 있다. RoboTTT는 모든 실패 모드를 해결하지 못하며 강화학습과 결합해 직접적으로 성공 확률을 최적화하는 후속 연구가 필요하다.