TL;DR
Orca는 시청각 데이터에서 통합된 world latent를 학습해 다양한 downstream readout으로 재사용하는 새로운 방향을 제시했다. 이 접근은 다음-토큰·프레임·행동 예측을 통합된 다음-상태 예측으로 대체해 다중 모달에서의 일관된 상태 표현을 얻고자 했다. 실험에서는 125K시간 비디오와 160M 이벤트 어노테이션을 바탕으로 텍스트·이미지·로봇 행동에서 전이가 가능한 잠재가 형성됨이 확인되었다.
왜 중요한가
Orca는 시청각 데이터에서 통합된 world latent를 학습해 다양한 downstream readout으로 재사용하는 새로운 방향을 제시했다. 이 접근은 다음-토큰·프레임·행동 예측을 통합된 다음-상태 예측으로 대체해 다중 모달에서의 일관된 상태 표현을 얻고자 했다. 실험에서는 125K시간 비디오와 160M 이벤트 어노테이션을 바탕으로 텍스트·이미지·로봇 행동에서 전이가 가능한 잠재가 형성됨이 확인되었다.
핵심 기여
다음-상태 예측 기반의 통합 world latent 학습 프레임워크
Orca는 Next-State-Prediction을 중심 목표로 설정해 관측 전용 전이와 언어 조건 전치를 병렬로 학습함으로써 통일된 잠재 공간을 획득했다. 이 잠재는 이후에 고정된 백본에서 경량 readout만 학습해 텍스트, 이미지, 행동으로 읽어낼 수 있도록 설계되었다. 설계 목표는 각 모달의 개별 SOTA를 좇는 것이 아니라 잠재의 범용성·확장성을 검증하는 데 있었다.
무의식적 학습과 의식적 학습의 이중 학습 패러다임
무의식적 학습(unconscious learning)은 연속 비디오에서 인접 프레임 잠재를 예측해 자연스러운 밀집 상태 전이를 내재화한다. 의식적 학습(conscious learning)은 이벤트 수준의 언어 조건과 VQA를 사용해 희소하고 의미 있는 전이를 학습해 인과적·목적적 정보를 잠재에 주입한다. 두 패러다임 병용이 텍스트·비전·행동 readout 간 균형 성능을 확보하는 핵심 기제였다.
대규모 world-learning 인벤토리 구축
사전학습 데이터로 125K 시간의 비디오, 160M 개의 이벤트 어노테이션, 11.5M 개의 VQA 샘플을 조직해 학습파이프라인에 투입했다. 데이터는 ego-centric interaction, exo-centric manipulation, action-free robot execution, natural dynamics로 구성되어 관측과 이벤트 전이를 모두 지원했다. 논문 버전에서는 비디오의 1/10만 사용했으며, 남은 데이터는 후속 버전에서 활용할 계획이었다.
냉동(프리즈)된 백본과 경량 모달리티별 readout으로의 전이 실험
Orca의 백본(Encoder)은 사전학습 후 고정(frozen)하고, 텍스트는 LM head, 이미지 예측은 MLP adaptor와 LoRA를 통해 Stable Diffusion 3.5에 입력하는 방식으로 읽어냈다. 행동 생성은 DiT 기반 Action Expert를 노이즈-디노이즈(flow-matching) 방식으로 학습해 로봇 제어 청크를 출력했다. 이 방식은 잠재의 일반성만을 측정하기 위한 의도적 설계였다.
핵심 아이디어 이해하기
기존 VLM이나 행동 모델은 주로 각각의 출력(다음 토큰·프레임·행동)을 직접 예측하는 손실에 최적화되며, 이로 인해 서로 다른 모달리티 간의 공통 표현을 얻기 어렵다. Orca는 이러한 문제를 다음-상태 예측으로 재정의해 서로 다른 입력 신호를 하나의 상태 공간으로 매핑한 뒤 상태 전이를 학습하도록 했다. 이 출발점은 딥러닝의 표현학습 관점에서 입력들을 공통의 잠재로 압축하면 downstream 조건화가 단순해진다는 기본 원리에 기반한다.
방법론
Orca의 Encoder는 사전학습된 VLM 백본에 시각 토큰과 학습 가능한 쿼리들을 입력으로 넣어 잠재 예측을 수행한다. 관측 전용 목표는 현재 프레임 v_t와 을 입력으로 받아 쿼리의 최종 히든 스테이트를 MLP로 변환해 예측 잠재 \hat{v}^{l}{t+1}를 만든다. 이 예측은 frozen vision encoder로 얻은 실제 잠재 v^{l}{t+1}에 대해 teacher-forcing 방식으로 학습된다.
관련 Figure
이 그림은 논문의 핵심 설계인 두 학습 패러다임의 역할을 시각적으로 정리했다. 관측 전용 경로는 연속 비디오로부터 밀집 전이를 학습하고, 이벤트 조건 경로는 언어로 서술된 이벤트에 따라 희소한 전이를 학습하는 흐름을 보여준다. 또한 pre-training 후 백본을 고정하고 경량 readout만 학습하는 평가 프로토콜이 명확히 드러난다.
Orca의 전체 프레임워크 다이어그램으로 Encoder가 unconscious learning과 conscious learning을 통해 world latent를 형성하고, 이를 modality-specific Decoder로 읽어내는 구조를 나타낸다.
이 Figure는 각 데이터 컬렉션이 관측 전이, 이벤트 조건 전이, VQA 손실 중 어느 목적을 지원하는지를 명확히 분류한다. 125K시간의 비디오, 160M 이벤트, 11.5M VQA라는 정량적 규모가 표시되어 데이터 설계가 학습 목표와 직접 연결됨을 확인할 수 있다.
사전학습 데이터 파이프라인 다이어그램으로 비디오·이벤트·VQA 데이터가 어떻게 학습 목적과 연결되는지 시각화했다.
주요 결과
사전학습 손실은 모델 크기와 데이터 양이 증가함에 따라 지속적으로 감소했다. Figure 5의 손실 곡선에서 0.8B와 4B 모델 모두 데이터 시간 축에 따라 총 손실이 내려갔고, 4B 모델이 동일 데이터 규모에서 더 낮은 손실을 달성했다. 프리트레인 체크포인트를 downstream readout에 probe했을 때 텍스트, 이미지, 행동 모두 사전학습 데이터가 늘어날수록 성능이 개선되었으며, 특히 Orca-4B는 텍스트 평균 51.8, 이미지 PRICE-V0.1 평균 59.8, 행동 전반(rule-based) 32.4의 결과를 보였다.
관련 Figure
그래프에서 두 모델 모두 데이터가 늘어남에 따라 총 손실이 지속적으로 감소하는 추세를 보였고, 더 큰 모델(4B)이 동일한 데이터에서 더 낮은 손실을 달성했다. 이 곡선은 논문의 확장성 주장(모델과 데이터 확대에 따른 손실 하락)을 실험적으로 뒷받침한다.
사전학습 데이터(시간) 대비 총 손실 그래프를 보여주며 모델 크기별(0.8B, 4B) 손실 추이를 비교했다.
비교 샘플에서 Orca는 로봇 형태, 물체 위치, 접촉 관계를 더 잘 보존했고 불필요한 객체 생성이나 손의 환상을 덜 발생시켰다. 이 시각적 사례는 PRICE-V0.1 평가 결과에서 Orca가 평균 성능에서 우위를 보인 정량적 결과와 정성적으로 일치한다.
실제 상호작용 장면에서 Orca와 경쟁 모델들의 이미지 예측 결과를 비교한 정성적 샘플들을 제시했다.
해당 Figure는 Orca가 초기 grasp 실패 후에도 반복 시도 중에 회복해 최종적으로 과업을 달성하는 궤적을 보였음을 보여준다. PRM-as-a-Judge 기반의 궤적 진단 지표와 함께 사용되어 행동 생성에서의 회복성(recovery)과 중간 진전(FNS, DRR)의 우위를 시각적으로 뒷받침한다.
로봇 실행 중 진행도 그래프와 연속 프레임을 통해 Orca와 비교 모델의 grasp 실패 후 회복 사례를 제시했다.
기술 상세
Orca는 세계 상태 S를 다중 모달 입력 X로부터 f_θ(X) 형태로 매핑하고 상태 전이를 p_Θ(S_{t+Δ}|S_t,z_t,c_t)로 모델링하는 수학적 틀을 사용했다. 여기서 z_t는 관측되지 않는 잠재 동력학을 포착하는 변수이며 c_t는 언어로 주어진 명시적 조건이다. 모델 구현 상 관측 전용 전이는 c_t=∅로 처리되어 인접 프레임 잠재를 예측하는 방식으로 학습되며, 이벤트 조건 전이는 언어 이벤트 e_{t+Δ}를 추가 입력으로 받아 관련 샘플의 잠재를 예측한다.
한계점
Orca는 현재 입력 모달리티로 시각과 언어만을 주로 사용하고 있어 음향·촉각·힘·조명 등 다른 물리 신호를 포함하지 못했다. 학습된 잠재는 frozen ViT 공간을 감독 신호로 사용해 만들어졌기 때문에 단일 사전학습 임베딩 공간에 의존하는 제약이 존재한다. 실험 규모는 0.8B·4B 모델과 프리트레인 데이터의 일부(비디오의 1/10)로 제한되어 있어 더 큰 모델·더 많은 데이터에서의 거동이 완전하게 검증되지 않았다.
실무 활용
Orca가 학습한 세계 잠재는 백본을 고정한 상태에서 경량 모듈만 재학습해 텍스트 설명, 미래 이미지 예측, 로봇 행동 제어로 전이할 수 있다. 이 특성은 동일한 잠재를 여러 실무 파이프라인에서 재사용해 개발·평가 비용을 줄이는 데 유용하다. 다만 논문 버전에서는 일부 downstream에 대해 제한된 데이터와 설정으로 검증했다.
- 로봇 조작 파이프라인에서 시각 관찰을 잠재로 맵핑한 뒤 소규모 Action Expert만 학습해 빠르게 작업 적응을 수행하는 시나리오
- 시퀀스 예측 기반의 미래 프레임 보정이나 오류 감지에 잠재를 조건으로 활용하는 모니터링 시스템
- 비디오·언어 통합 검색에서 상태 전이를 사용해 장면 전후 관계를 이해하고 더 풍부한 캡션을 생성하는 콘텐츠 분석
코드 공개 여부: 미확인
키워드
용어 해설
- World Latent Space
- — 시청각 등 다중 모달 입력을 하나의 잠재 표현으로 압축한 공간으로, 이 공간에서 상태 추정과 상태 전이가 이뤄진다. Orca 문맥에서는 비디오 프레임과 언어 이벤트를 같은 잠재 차원으로 매핑해 다음 상태 예측을 수행하는 핵심 표현이다. 이 잠재 공간은 텍스트 생성, 이미지 예측, 행동 생성 같은 downstream readout의 조건으로 재사용된다.
- Next-State-Prediction
- — 다음 토큰·프레임·행동을 직접 예측하는 대신 상태 전이 모델링을 목표로 삼는 접근법으로, 현재 상태와 (숨겨진)동력학·명시적 조건을 입력으로 받아 미래 또는 과거의 상태 분포를 추정한다. Orca에서는 연속 관찰에서 밀집한 전이를, 언어 조건에서 희소한 의미 전이를 학습하는 통합 목표로 사용된다. 이 방식은 서로 다른 모달리티를 한 잠재 공간에서 정렬해 downstream 읽기 기능을 향상시키는 역할을 한다.
- Unconscious Learning
- — 라벨 없이 연속 비디오 관찰만으로 자연스럽고 밀집된 상태 전이를 학습하는 패러다임으로, 인접 프레임 잠재를 예측해 물체 운동, 가려짐, 장면 변화 같은 물리적 동역학을 내재화한다. Orca는 이 목표를 관측 전용 state-transition 손실로 구현해 행동 생성 능력의 기초 정보를 얻었다. 비지도적 밀집 신호가 로봇 제어에 유용한 시간적 패턴을 제공하는 점이 핵심이다.
- Conscious Learning
- — 언어로 서술된 이벤트나 지시를 명시적 조건으로 사용해 희소하고 의미 있는 상태 전이를 학습하는 패러다임으로, 이벤트-수준 전이와 VQA 손실을 통해 의미적 정렬을 수행한다. Orca에서는 이 입력을 통해 특정 목표 상태로의 전이를 모델링하고 이미지 예측 성능을 높이는 역할을 했다. 언어 조건은 인과적 제어와 과업 의도를 잠재 공간에 주입하는 수단으로 작동한다.
- Learnable Queries
- — VLM 백본 입력으로 삽입되는 학습 가능한 벡터로, 각 쿼리의 최종 히든 스테이트를 MLP로 변환해 목표 프레임의 잠재를 예측한다. Orca는 두 종류의 쿼리(<Query1>, <Query2>)를 도입해 관측 전용 및 이벤트 조건 전이 목표를 각각 구현했다. 이 설계는 잠재 공간에서의 직접적인 예측 목표를 분리하고 백본의 frozen 표현을 효율적으로 활용하게 한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.