이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
RoboTTT는 로봇이 긴 시퀀스의 시각 정보와 행동 기록을 처리할 때 발생하는 계산량 문제를 해결하기 위해 고안되었다. 기존 Transformer 기반 모델이 과거 정보를 모두 저장하는 것과 달리, RoboTTT는 Test-Time Training(TTT)을 통해 과거 정보를 Fast Weight에 압축하여 기억한다. 이 방식은 최대 8,000 timestep의 긴 Context를 활용하면서도 추론 지연 시간을 늘리지 않는다. 실험 결과, 복잡한 조립 작업에서 기존 모델 대비 월등한 성공률을 보였으며, 긴 Context가 로봇 학습의 새로운 확장 축임을 입증했다.
챕터별 상세
Long-Horizon Task의 한계와 도전
로봇이 긴 시간 동안 여러 단계의 행동을 순서대로 수행하는 Long-Horizon Task는 이전 행동과 작업 성공 여부를 기억해야 하는 난제가 있다. 기존 Foundation Model은 모든 과거 정보를 Context Window에 저장하여 계산량이 급증하는 한계가 존재한다. RoboTTT는 과거 정보를 모두 저장하는 대신 Fast Weight에 압축하여 기억하는 방식을 도입했다. 이는 추론 비용을 유지하면서도 로봇의 기억력을 획기적으로 확장한다.
로봇이 긴 작업을 수행할 때 이전 단계의 성공 여부를 기억하지 못하면 작업이 꼬이거나 반복되는 문제가 발생한다.
Fast Weight를 이용한 기억 확장
RoboTTT는 TTT(Test-Time Training)를 활용해 모델의 가중치를 실시간으로 업데이트한다. 새로운 관측이 들어올 때마다 작은 신경망의 가중치를 경사하강법으로 수정하여 정보를 기록한다. 이 방식은 추론 단계에서도 가중치가 계속 업데이트되므로, 별도의 긴 Context 저장 없이도 과거 경험을 유지할 수 있다. 결과적으로 기존 모델 대비 1,000배 긴 8,000 timestep의 Visuomotor Context를 활용한다.
기존 모델은 과거 정보를 모두 저장하지만, RoboTTT는 가중치에 정보를 압축하여 저장하므로 메모리 효율이 높다.
RoboTTT의 핵심 구조
TTT Layer는 과거 정보를 Fast Weight에 압축하고, Tanh Gating은 기존 VLA 모델의 성능을 보호하며 TTT 정보를 적절히 조절한다. TBPTT(Truncated Backpropagation Through Time)는 긴 시퀀스를 구간별로 잘라 학습하여 GPU 메모리 문제를 해결한다. Sequence Action Forcing은 각 Action Chunk마다 다른 노이즈 수준을 적용해 학습 안정성을 확보한다. 이 구조들은 복잡한 작업에서도 로봇이 현재 상태를 정확히 파악하게 돕는다.
Tanh Gating은 TTT 학습이 기존 모델의 성능을 방해하지 않도록 학습 초기에는 TTT의 영향을 최소화한다.
실험 결과 및 성능 향상
실험 결과, RoboTTT의 평균 Task Completion Score는 79%로, 기존 관측값만 사용하는 모델의 42%를 크게 상회했다. 특히 Gear Bot 조립과 같은 10단계의 복잡한 작업에서 기존 모델은 성공하지 못했으나 RoboTTT는 완벽히 수행했다. 또한, 실행 중 드릴이 나사를 빗나가는 상황에서 스스로 위치를 수정하고 재시도하는 On-the-fly Recovery 능력을 입증했다. 이는 긴 Context가 로봇의 작업 성공률을 결정짓는 핵심 요소임을 시사한다.
Task Completion Score는 로봇이 주어진 작업을 얼마나 성공적으로 완수했는지를 나타내는 지표이다.
용어 해설
- 장기 작업(Long-Horizon Task)
- — 긴 시간 동안 여러 단계의 행동을 순서대로 수행해야 하는 로봇 작업이다. 이전 행동과 작업 성공 여부를 기억해야 하므로 로봇 AI에게 난도가 높다.
- 패스트 웨이트(Fast Weight)
- — 모델의 가중치를 실시간으로 업데이트하여 과거 정보를 압축 저장하는 방식이다. 모든 과거 토큰을 저장하는 대신 가중치에 정보를 반영하여 메모리 효율을 높인다.
- 테스트 타임 학습(Test-Time Training)
- — 추론 단계에서 모델의 일부 가중치를 학습시켜 새로운 데이터에 적응력을 높이는 기술이다. RoboTTT에서는 과거 경험을 가중치에 기록하는 메커니즘으로 사용된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 27.수집 2026. 08. 27.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
