Hy-Embodied-RxBrain: 언어와 시각적 상상을 결합한 체현 인지 파운데이션 모델

체현 인지는 고수준 계획과 실제 물리 상태를 연계해야만 실용적 로봇 행동으로 이어진다. 기존의 vision-language 모델은 주로 장면 이해와 텍스트 결정에 집중했고, 생성적 world model은 주로 시각 상태 예측에 집중해 계획과 물리 상태 간 결합이 약했다. Hy-Embodied-RxBrain은 언어가 계획의 구조를 제공하고 시각적 상상이 각 단계의 물리 상태를 구체화하도록 결합함으로써 계획의 텍스트 구성과 세계 상태 예측을 동시에 유지할 수 있게 했다.

문제의 출발점은 고수준 과제 추론과 물리적 세계 상태 간의 격차로, 언어는 추상적 계획 구조를 제공하지만 그 자체로 물리적 실행 가능성을 보장하지 못하고, 반대로 생성적 world model은 미래 시각 상태 예측에는 강하나 추상적 계획 논리를 포함하지 못하는 경우가 많았다. 이 논문은 계획을 하나의 연속된 시퀀스로 표상해 언어적 프리미티브(과제 분해·제약·순서·결정 논리)와 시각적 상상(세계 상태 예측·중간 하위목표)을 각 시퀀스 스텝에서 결합하도록 설계했다. 구체적으로 언어는 단계의 구조와 제약을 제공해 무슨 일을 언제 해야 하는지를 규정하고, 시각적 상상은 그 단계에서 기대되는 물리적 상태와 전이를 예측해 계획의 실행 가능성을 검증한다. 이러한 결합으로 모델은 텍스트적 계획 논리와 시각적 세계 모델을 동시에 보유하여 하위목표가 물리적으로 타당한지 판단하고 연속적 행동으로 변환할 수 있다.

전체 접근 방식은 하나의 멀티모달 Mixture-of-Transformers 아키텍처를 중심으로 언어·이미지·비디오의 입력과 출력을 통합하는 것이다. 이 아키텍처는 각 모달리티의 토큰화 및 표현 공간을 공통 또는 연동 가능한 방식으로 처리해 언어적 계획 토큰과 시각적 상태 토큰이 같은 시퀀스 내에서 상호작용하도록 구성되었다. 학습 신호를 얻기 위해 저자들은 체현 비디오를 자동으로 분해해 순차적 계획 단계와 각 단계에 대응하는 시각적 상태 전이를 정렬하는 파이프라인을 구축했다. 이 파이프라인은 비디오 프레임 시퀀스를 하위 단계로 분할하고 각 하위단계에 텍스트적 설명과 시각적 목표를 매핑해 다중모달 교사 신호를 생성함으로써 모델이 공동 텍스트-시각 계획을 학습하게 했다. 추가적으로 모델은 이해와 생성 양쪽을 모두 학습하도록 구성되어 텍스트 기반 추론 출력과 시각적 상상 출력을 동시에 생성하는 능력을 확보했다. 로봇 행동 확장을 위해 학습된 표상에서 연속적 액션 시퀀스를 추출하는 방식으로 실제 로봇 제어에 연결하는 절차를 채택했다.

논문은 RxBrain이 텍스트적 추론, 세계 상태 예측, 공동 하위목표 계획을 결합한 계획을 생성하는 능력을 유지한다고 보고했다. RxBrain-Bench 평가에서 모델은 텍스트와 시각 구성요소가 결합된 계획 표상 능력을 입증했으며 이해와 생성 양면에서 기능을 보존했다는 결과가 제시되었다. 또한 저자들은 대규모 행동 데이터에 대한 사전학습 없이도 연속적 로봇 행동 생성을 통해 실제 로봇에서 유망한 성능을 확인했다고 기술했다.

전체 아키텍처는 Mixture-of-Transformers라는 구조를 통해 서로 다른 모달리티의 입력과 출력을 하나의 모델에서 처리하도록 구성되었다. 이 구조는 모달리티별 전문화를 유지하면서도 공통의 시퀀스 표상에서 언어 토큰과 시각 상태 토큰이 상호작용하도록 설계되어 텍스트 기반 계획과 시각적 상상 간의 정렬을 가능하게 한다. 감독 신호 생성은 체현 영상을 단계별로 분해하고 각 단계의 시각 상태 전이와 텍스트 설명을 정렬하는 자동 파이프라인을 통해 수행되며, 이 과정이 모델에 다중모달 순차 예측 학습 신호를 제공한다. 학습 목적은 언어적 계획 구조의 생성과 시각적 미래 상태의 예측을 동시에 최소화하는 방식으로 설정되어 모델이 공동 계획 시퀀스를 출력하도록 유도한다. 로봇 액션 확장에서는 학습된 시퀀스 표상에서 연속적 제어 명령을 생성하는 절차를 적용해 대규모 행동 사전학습 없이도 실제 로봇에서 동작을 생성하도록 연결했다.