HY-Embodied-0.5: 실세계 에이전트를 위한 Embodied 파운데이션 모델

일반적인 Vision-Language Model(VLM)이 물리적 환경 이해와 정밀한 행동 계획에 한계를 보이는 문제를 해결하기 위해, 공간 및 시간적 지각 능력을 극대화한 로봇 전용 파운데이션 모델이다. 2B 규모의 경량 모델로도 기존 4B~7B급 모델을 능가하는 성능을 보여주며 실세계 로봇 제어의 효율성을 입증했다.

기존의 Transformer 기반 VLM은 시각 토큰과 언어 토큰을 동일한 파라미터로 처리하기 때문에, 로봇 제어에 필요한 미세한 시각 정보를 학습할수록 기존에 학습된 언어 지능이 손상되는 현상이 발생한다. 이는 Self-Attention 메커니즘이 모든 모달리티를 단일 공간에서 처리하려 할 때 발생하는 간섭 문제이다.

HY-Embodied-0.5는 이를 해결하기 위해 Mixture-of-Transformers(MoT)를 도입하여 시각 전용 QKV 및 FFN 레이어를 분리했다. 이를 통해 시각 데이터는 양방향 Attention(Bidirectional Attention)으로 정밀하게 분석하고, 텍스트는 인과적 Attention(Causal Attention)으로 처리하는 모달리티 맞춤형 연산을 수행한다.

또한, 시각 정보의 압축 과정에서 손실되는 세부 정보를 보존하기 위해 Visual Latent Tokens를 도입했다. 이 토큰은 시각적 특징을 요약하여 언어 모델에 전달하는 가교 역할을 하며, 대형 모델로부터 지식을 전수받는 On-Policy Distillation 과정을 거쳐 2B 규모의 작은 모델에서도 복잡한 공간 추론과 행동 계획이 가능하도록 설계됐다.

전체 시스템은 HY-ViT 2.0 시각 인코더와 LLM 백본으로 구성되며, Mixture-of-Transformers(MoT) 아키텍처를 통해 모달리티별 적응형 컴퓨팅을 구현했다. 시각 분기에는 비공유 파라미터를 할당하여 언어 능력 저하 없이 시각 성능을 높였으며, 시각 토큰 시퀀스 끝에 Visual Latent Tokens를 추가하여 전역적 시각 정보를 포착했다.

학습은 2단계로 진행된다. 1단계 Pre-training에서는 6,000억 개 이상의 토큰을 사용하여 기초적인 시각-언어 정렬을 수행한다. 이때 시각 재구성 손실(Vision Loss)과 전역 정렬 손실(Global Loss)을 LLM 손실과 함께 최적화한다. 2단계 Mid-training에서는 2,500만 개의 엄선된 Embodied 및 공간 데이터를 사용하여 실제 로봇 환경에 필요한 지능을 주입한다.

사후 학습(Post-training) 과정에서는 GRPO(Group Relative Policy Optimization) 기반의 강화학습과 RFT(Rejection Sampling Fine-tuning)를 결합했다. GRPO는 [G개의 응답 샘플링 → 그룹 내 상대적 보상 계산 → Advantage 산출 → 정책 갱신] 순으로 작동하며, 이를 통해 모델이 정답뿐만 아니라 논리적인 사고 과정(Chain-of-Thought)을 스스로 학습하도록 유도했다.

HY-Embodied-0.5 MoT-2B 모델은 22개의 벤치마크 중 16개에서 동급 규모의 SOTA 모델들을 압도했다. 특히 시각 지각(CV-Bench 89.2%)과 공간 이해(MindCube 66.3%)에서 탁월한 성과를 보였으며, 4B 규모인 Qwen3-VL보다 평균 10.2% 높은 점수를 기록했다.

32B 변체인 MoE-A32B 모델은 평균 점수 67.0%를 달성하여 Gemini 3.0 Pro(63.6%)를 능가하는 성능을 입증했다. 실세계 로봇 제어 실험에서도 Precision Plug-in Packing 태스크에서 85%, Mug Hanging 태스크에서 75%의 성공률을 기록하며 기존 π0 및 π0.5 베이스라인 대비 유의미한 성능 향상을 보였다.

모델 아키텍처는 시각 분기와 언어 분기가 파라미터를 부분적으로 공유하는 MoT 구조를 특징으로 한다. 시각 인코더인 HY-ViT 2.0은 임의 해상도 입력을 지원하며, 400M 파라미터 규모로 최적화되어 엣지 추론 효율성을 높였다. 학습 전략 측면에서는 GRPO를 활용하여 보상 함수를 Grounding, Regression, Trajectory, Textual의 4가지 카테고리로 세분화하여 설계했다.

특히 On-Policy Distillation 과정에서는 학생 모델(2B)이 생성한 응답 시퀀스에 대해 교사 모델(32B)의 토큰 분포를 KL Divergence로 학습시키는 방식을 사용했다. 이는 단순 결과 모방이 아닌 교사 모델의 사고 방식(Thinking Style)을 전이하는 데 핵심적인 역할을 한다. 또한, 1억 개 이상의 고품질 시각 지각 및 Embodied 데이터를 구축하여 데이터 중심의 성능 향상을 꾀했다.

논문은 모델이 실세계 물리 평가에서 우수한 성과를 거두었으나, 여전히 매우 복잡하고 동적인 환경에서의 장기 계획(Long-horizon planning) 시 발생할 수 있는 오류 가능성에 대해 추가적인 연구가 필요함을 시사한다.