OpenWAM: 월드-액션 모델의 설계 원리

왜 중요한가

기존 World-Action Model은 generative backbone, 시각 표현, 정보 흐름, 추론 방식, 학습 데이터가 한 덩어리로 묶여 어떤 설계가 성능을 만드는지 분리해 검증하기 어려웠습니다. OpenWAM은 이 설계 공간을 조합 가능한 모듈로 나누고, 시뮬레이션에서 현실 로봇까지 같은 원칙을 시험할 수 있는 공개 연구 기반을 제공합니다.

핵심 기여

조합 가능한 WAM 연구 스택

OpenWAM-Infra가 World-Action Model의 설계 요소를 모듈화하고 training, inference, deployment, evaluation을 통합된 방식으로 연결해 설계 선택을 통제된 실험으로 비교합니다.

월드 지식과 행동 학습의 세 원칙

충분히 강한 generative backbone과 작고 정보가 풍부한 latent space가 upstream 지식을 전달하며, 전용 action capacity·명시적 world-to-action 정보 흐름·동기화된 joint denoising이 world-action synergy를 형성합니다.

실세계 일반화를 위한 embodied pretraining

embodied pretraining은 주로 out-of-domain generalization을 개선하며, egocentric human 데이터와 robot 데이터를 한 단계에서 공동 학습하면 world coverage와 action grounding을 함께 통합합니다.

공개 모델과 평가 자원

OpenWAM-α를 약 6,400시간의 사람·로봇 egocentric 데이터로 사전학습하고, 8개 simulation benchmark와 real-robot 실험에서 단일 팔·양팔 조작부터 dexterous hand까지 평가합니다.

핵심 아이디어 이해하기

World-Action Model은 비디오 생성 모델이 학습한 세계 지식을 로봇 행동으로 연결하는 구조입니다. 비디오 생성 prior는 환경의 모습과 시간적 변화를 담고, embodied experience는 그 변화 속에서 어떤 행동이 실행되는지 연결합니다. 따라서 관측된 세계 상태가 latent representation으로 압축되고, 이 표현이 action signal 생성에 전달되어 제어 가능한 출력으로 이어지는 흐름이 핵심입니다.

기존 구조는 generative backbone, 시각 표현, architecture, information flow, inference procedure, training data가 함께 바뀌는 monolithic 설계였습니다. 입력 데이터와 모델 내부 구성, 추론 방식이 동시에 달라지면 성능 차이가 어느 요소에서 비롯됐는지 판별하기 어렵습니다.

OpenWAM은 이 결합을 모듈 단위로 분해하고, world learning과 action learning의 연결 조건을 따로 시험합니다. 실험 결과에 따르면 upstream 비디오 지식은 충분한 생성 능력과 작지만 정보량이 높은 latent space를 거쳐야 전달되며, 행동 학습에는 별도의 action capacity와 world-to-action 정보 흐름이 필요합니다. 여기에 world와 action을 동기화해 joint denoising하면 두 학습 신호의 결합이 작동합니다.

embodied pretraining의 주된 효과는 학습에 없던 분포로의 일반화입니다. egocentric human 데이터는 넓은 world coverage를, robot 데이터는 action grounding을 제공하며, 두 데이터를 한 단계에서 co-training하면 이 두 종류의 지식을 하나의 사전학습 과정에 결합할 수 있습니다.

방법론

OpenWAM은 WAM 설계 공간을 generative backbone, visual representation, architecture, information flow, inference procedure, training data와 같은 조합 가능한 모듈로 나눕니다. 이 모듈들을 OpenWAM-Infra 위에서 통일된 training, inference, deployment, evaluation 절차로 실행해 특정 설계 변경이 결과에 미치는 영향을 통제된 실험으로 비교합니다.

OpenWAM-Study는 세 가지 질문을 실험 축으로 삼습니다. 어떤 world knowledge를 물려받을지, world learning과 action learning이 어떻게 상호작용할지, 두 학습의 synergy가 규모에 따라 어떻게 변할지를 비교합니다. 그 결과 생성 backbone의 충분한 용량과 compact latent space, 전용 action capacity, 명시적 world-to-action 정보 흐름, synchronized joint denoising이 핵심 조건으로 정리됩니다.

최종 모델인 OpenWAM-α는 egocentric human 및 robot 데이터 약 6,400시간으로 사전학습합니다. 한 단계 co-training으로 world coverage와 action grounding을 결합한 뒤, 8개 simulation benchmark와 real-robot 실험에서 single-arm manipulation, bimanual manipulation, dexterous hand embodiment를 평가합니다.

주요 결과

OpenWAM-Study의 통제 실험은 upstream knowledge가 충분히 강한 generative backbone과 compact하고 정보가 풍부한 latent space를 통해 전달된다는 원칙을 도출합니다. world-action synergy에는 dedicated action capacity, 명시적 world-to-action information flow, synchronized joint denoising이 함께 필요합니다.

embodied pretraining은 주로 out-of-domain generalization을 개선했으며, egocentric human 데이터와 robot 데이터를 한 단계에서 co-training하면 넓은 world coverage와 action grounding을 통합하는 결과가 나타났습니다.

OpenWAM-α는 약 6,400시간의 egocentric human·robot 데이터로 학습한 뒤 8개 simulation benchmark와 real-robot 실험에 투입됐습니다. 평가 범위는 single-arm 및 bimanual manipulation부터 dexterous hand까지 이어졌으며, 시뮬레이션과 physical world 모두에서 일관되게 높은 성능을 유지했습니다.

기술 상세

OpenWAM-Infra는 기존 WAM의 결합된 설계 공간을 모듈화합니다. generative backbone은 upstream video-generative prior를 제공하고, visual representation과 latent space는 관측을 행동 학습으로 전달할 표현을 구성합니다. inference procedure와 training data까지 같은 실험 기반에서 관리해 입력·처리·출력 경로와 설계 선택의 영향을 함께 비교합니다.

world-action 연결은 세 가지 구조 조건을 필요로 합니다. 첫째, generative backbone이 충분한 표현 능력을 가져야 upstream world knowledge를 보존합니다. 둘째, latent space가 작으면서도 정보량을 유지해 관측 정보를 압축합니다. 셋째, action capacity를 별도로 확보하고 world-to-action information flow를 명시해 세계 표현이 행동 표현으로 이동하는 경로를 만듭니다.

joint denoising은 world와 action 학습을 분리된 순서로 처리하지 않고 동기화된 방식으로 연결합니다. 입력으로 world-related representation과 action-related representation을 함께 사용하고, 두 표현의 noise를 공동으로 제거하는 과정에서 세계 상태와 실행 신호 사이의 상호작용을 학습합니다. 결과는 환경 지식과 제어 가능한 action output이 결합된 WAM 표현입니다.

학습 데이터 측면에서는 egocentric human 데이터가 world coverage를, robot 데이터가 action grounding을 제공하며, OpenWAM-α는 두 종류의 데이터를 한 단계 co-training에 사용합니다. 약 6,400시간의 데이터로 사전학습한 모델을 8개 simulation benchmark와 real-robot 실험에 연결해 single-arm, bimanual, dexterous hand embodiment로 평가합니다.

실무 활용

OpenWAM은 World-Action Model의 구성 요소와 학습 조건을 통제해 비교하려는 연구에 활용할 수 있습니다. infrastructure, evaluation protocol, pretrained model, data recipe를 함께 공개하므로 시뮬레이션과 실제 로봇 환경에서 동일한 연구 흐름을 구성할 수 있습니다.

generative backbone과 latent space 설계가 로봇 행동 학습에 미치는 영향 비교
world-to-action information flow와 joint denoising 구성의 ablation 실험
egocentric human 데이터와 robot 데이터의 co-training을 통한 embodiment 일반화 평가
single-arm, bimanual, dexterous hand 환경에서 pretrained WAM 성능 측정

코드 공개 여부: 공개

코드 저장소 보기

키워드

World-Action Models(월드-액션 모델)OpenWAM(공개 WAM 연구 스택)video-generative priors(비디오 생성 사전 지식)joint denoising(공동 디노이징)egocentric pretraining(자기중심 시점 사전학습)embodied learning(체화 학습)

용어 해설

월드-액션 모델(World-Action Models): — 비디오 생성 모델이 학습한 세계 지식을 바탕으로 환경의 시각적 상태와 변화 가능성을 파악하고, 이를 로봇이 실행할 수 있는 제어 신호로 변환하는 모델입니다. 비디오 기반 사전 지식과 실제 신체 경험을 결합해 시뮬레이션과 현실 환경에서 행동을 생성하는 데 사용됩니다.
비디오 생성 사전 지식(Video-Generative Priors): — 대규모 비디오 생성 과정에서 학습한 장면의 구조와 시간적 변화를 나타내는 지식입니다. World-Action Model은 이 지식을 생성 backbone과 latent space를 통해 물리적 환경의 예측과 로봇 행동 학습에 전달합니다.
잠재 공간(Latent Space): — 이미지나 비디오의 고차원 관측을 모델이 처리하기 쉬운 압축 표현으로 바꾼 공간입니다. OpenWAM의 원칙에 따르면 충분히 작으면서 정보가 풍부한 latent space가 upstream 비디오 지식의 전달 통로가 됩니다.
공동 디노이징(Joint Denoising): — 세계 상태와 행동 표현에 포함된 잡음을 서로 연결된 방식으로 동시에 제거하는 학습 과정입니다. OpenWAM은 전용 action capacity와 명시적인 world-to-action 정보 흐름을 함께 사용해 두 학습 신호의 상호작용을 동기화합니다.
자기중심 시점 사전학습(Egocentric Pretraining): — 사람이나 로봇이 직접 경험하는 시점의 데이터를 사용해 환경 변화와 행동의 관계를 미리 학습하는 방식입니다. OpenWAM-α는 사람 및 로봇의 egocentric 데이터 약 6,400시간을 활용해 새로운 embodiment와 환경으로 지식을 확장합니다.

OpenWAM: 월드-액션 모델의 설계 원리

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

DYNA Robotics가 공개한 100만 시간 휴먼 데이터 기반의 월드 액션 모델 DYNA-2

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

DYNA Robotics가 공개한 100만 시간 휴먼 데이터 기반의 월드 액션 모델 DYNA-2

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model