LingBot-Video: DiT 기반 로봇 지향 대규모 MoE 비디오 파운데이션 모델이다. Mixture-of-Experts 아키텍처를 채택해 용량과 추론 효율의 균형을 맞추었다. 로봇 중심 데이터 프로파일링과 다차원 보상체계를 결합해 물리적 합리성과 작업 완수 능력을 학습하게 설계되었다.

왜 중요한가

기존 비디오 생성 모델은 시각적 품질과 창의성에 초점을 맞추어 물리적 합리성이나 로봇 행동 재현 능력이 부족했다. LingBot-Video는 이러한 도메인 불일치를 해소하기 위해 비디오 파운데이션 모델을 로봇 지향 목표로 재정의하고, 아키텍처·데이터·보상 설계를 동시에 조정했다. 이 접근은 비디오 표현이 단순한 시각적 재현을 넘어 물리적 상호작용과 작업 수행 정보를 내포하도록 만드는 첫 대규모 공개 MoE 기반 시도라는 점에서 의미가 있다.

핵심 기여

DiT 기반의 로봇 지향 비디오 사전학습 패러다임 제안

본 연구는 DiT 백본을 비디오 파운데이션 모델의 사전학습 축으로 삼아 시공간 표현을 로봇 행동 이해에 맞춰 학습하도록 설계했다. 이 설계는 프레임 단위의 Transformer 표현력을 시공간적 일관성과 물리적 상호작용 축으로 확장하는 목적을 가진다. 결과적으로 단순한 시각적 재현을 넘어 작업 완수 가능성에 대한 내적 표현을 확보하는 것을 목표로 했다.

Mixture-of-Experts 기반 아키텍처 채택으로 용량과 효율의 균형 달성

연구진은 밀집식 모델 대신 Mixture-of-Experts(MoE)를 채택해 모델 용량을 확장하면서도 추론 효율을 유지하는 설계를 선택했다. 입력별로 일부 전문가만 활성화되는 구조를 통해 파라미터 수는 크게 가져가되 실제 계산량과 추론 지연을 제어하는 트레이드오프를 실현했다. 이 설계는 대규모 비디오 모델을 스크래치부터 확장 가능하게 만든 핵심 요소이다.

로봇 지향 푸티지로 인터넷 비디오를 보강하는 데이터 프로파일링 엔진 구축

연구팀은 기존 인터넷 비디오에 조작, 내비게이션, 1인칭 관점 등 로봇 관련 푸티지를 확대 삽입하는 데이터 프로파일링 엔진을 설계했다. 이 엔진은 메타데이터와 장면 특성 기반 샘플링을 통해 학습 데이터 분포를 조절하여 행동과 세계 동역학에 대한 내적 이해를 촉진했다. 데이터 분포 제어를 통해 모델이 물리적 상호작용 패턴을 더 잘 일반화하도록 유도했다.

물리적 합리성과 작업 완수를 평가하는 다차원 보상체계 도입

기존 미학·프롬프트 준수 중심의 평가 기준을 넘어서 물리적 합리성과 작업 완수 여부를 별도 보상 항목으로 도입했다. 여러 보상 항목을 결합한 다차원 신호를 통해 학습이 시각적 일관성뿐만 아니라 행동의 현실성 및 목적성까지 반영하도록 유도했다. 이러한 보상 구성은 비디오 모델이 단순 생성이 아니라 로봇 행동 근거를 내포하도록 만드는 핵심 장치이다.

대규모 MoE 비디오 파운데이션 모델의 공개와 종합적 성능·효율성 검증

연구는 LingBot-Video를 대규모 공개 MoE 비디오 파운데이션 모델로 기증하고, 성능과 추론 효율성 측면에서 종합적인 평가를 수행했다. 평가 결과는 본 접근이 물리적 합리성 및 작업 완수 지향성에서 개선되었음을 시사한다고 기술되었다. 공개 저장소를 통해 재현성과 추가 연구를 촉진하는 기여를 수행했다.

핵심 아이디어 이해하기

문제 출발점은 기존 비디오 생성 모델이 시각적 품질 중심으로 설계되어 물리적 합리성과 작업 수행 능력을 포착하지 못한다는 점이다. 영상 생성은 주로 픽셀 단위의 재현과 모션 일관성에 집중하므로 로봇의 조작·내비게이션에서 요구되는 힘·接촉·목표 지향적 행동 신호를 충분히 학습하지 못했다. 이로 인해 생성된 비디오 표현은 물리적 세계에서의 실행 가능성 정보를 내포하지 못하는 한계를 보였다. 이 논문은 이러한 한계를 해결하기 위해 백본, 데이터, 보상을 동시에 재설계하는 접근을 취했다. 아키텍처 측면에서는 DiT를 기반으로 하여 시공간적 표현을 확보하고, 모델 확장성 문제는 MoE로 해결하여 용량과 추론 비용의 균형을 도모했다. 데이터 측면에서는 일반 인터넷 영상에 로봇 지향 푸티지를 보강해 행동 분포를 학습 데이터에 반영함으로써 모델이 물리적 상호작용 패턴을 획득하도록 했다. 학습 신호 측면에서는 기존의 미학·프롬프트 준수 중심 지표에 물리적 합리성과 작업 완수를 평가하는 다차원 보상항을 추가하여, 출력이 단순 시각적 일관성을 넘어서 물리적 타당성과 목적 달성 가능성을 갖도록 유도했다. 이러한 통합 설계는 비디오 파운데이션 모델이 디지털 창의성과 물리적 작동 가능성 사이의 간극을 메우는 방향으로 작동한다.

방법론

전체 접근 방식은 백본 선택, 아키텍처 확장, 데이터 보강, 보상 신호 설계라는 네 축으로 구성되었다. 백본은 DiT 기반 표현을 채택하여 프레임 수준의 공간 표현을 시공간적 관계로 확장하는 역할을 담당했고, 아키텍처는 Mixture-of-Experts 구조를 적용해 모델 용량은 크게 유지하면서 활성화되는 전문가 수를 제한해 추론 비용을 제어했다. 데이터 파이프라인은 기존 인터넷 비디오를 프로파일링하여 로봇 조작·내비게이션·1인칭 시점 같은 푸티지를 식별·증강하는 엔진을 포함했으며, 이 엔진은 메타데이터와 장면 특성으로 샘플링·라벨링 정책을 수행했다. 핵심 메커니즘은 MoE의 라우터가 입력 특징에 따라 전문가를 선택하는 동작과, 다차원 보상체계가 각 샘플에 대해 미학·모션 일관성·물리적 합리성·작업 완수 등 여러 항목에서 점수를 부여해 합성 손실로 학습 신호를 구성하는 방식이다. 학습 전략은 스크래치에서 대규모 모델을 확장하면서 데이터 분포 균형을 맞추는 샘플링과 보상 가중치 조절을 포함했고, 이러한 구성은 모델이 시각적 품질과 물리적 현실성 사이의 트레이드오프를 학습하도록 설계되었다. 구현상 공개된 저장소를 통해 아키텍처 구성과 데이터 처리 파이프라인, 보상 계산 로직을 재현 가능하게 제공했다.

주요 결과

논문은 LingBot-Video가 성능과 추론 효율성 측면에서 종합적인 검증을 통과했다고 보고했다. 구체적 수치와 벤치마크 명칭은 초록에 제시되지 않았으나 평가 결과가 물리적 합리성과 작업 완수 관점에서 개선됨을 시사한다고 기술되었다. 또한 MoE 기반 설계가 모델 확장성에 유리하면서도 추론 측면에서 효율성을 확보하는 데 기여했음이 확인되었다.

기술 상세

전체 아키텍처는 DiT를 백본으로 하여 시공간 표현을 추출하고, 상위 레이어에서 Mixture-of-Experts를 적용해 전문가별로 파라미터를 분배하는 구조이다. MoE 구성에서는 입력별 라우팅을 통해 일부 전문가만 활성화되므로 파라미터 기반 용량은 크지만 활성화된 계산량은 제어되는 메커니즘이 작동한다. 데이터 측면에서는 데이터 프로파일링 엔진이 인터넷 비디오 메타데이터와 장면 특성으로부터 로봇 지향 푸티지를 식별하고 이를 증강·샘플링해 학습 데이터 분포를 재구성했다. 학습 손실은 미학·프롬프트 준수·모션 일관성 등 전통적 항목과 물리적 합리성 및 작업 완수 지표를 별도 항목으로 포함하는 다차원 보상항의 가중합으로 구성되며, 각 보상항은 샘플 수준에서 계산되어 최종 학습 신호로 통합되었다. 구현 및 학습은 스크래치부터 대규모로 확장하는 과정을 포함했고, 모델·데이터 파이프라인·보상 계산 로직은 공개 저장소로 제공되어 재현 가능성이 확보되었다.

실무 활용

공개 저장소와 대규모 사전학습 모델 제공은 로봇 비전 및 시뮬레이션 기반 연구자·엔지니어에게 실험 기반을 제공한다. 로봇 행동 이해와 물리적 상호작용을 필요로 하는 응용에서 사전학습된 표현을 미세조정하여 효용을 얻을 가능성이 크다. 저장소에는 모델·데이터 파이프라인·보상체계 구성 요소가 포함되어 있어 재현 및 도입 장벽을 낮춘다.

로봇 조작 정책 학습을 위한 시뮬레이션 환경에서 시각적 프리트레인으로 활용할 수 있다.
로봇 관점의 행동 데이터가 부족한 도메인에서 데이터 프로파일링 엔진으로 관련 푸티지를 확보해 학습 데이터 분포를 개선할 수 있다.
시각-행동 연계 평가가 필요한 연구에서 다차원 보상체계를 기반으로 한 행동 후보 생성 및 평가 파이프라인을 구성할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

DiT-based video pretraining(DiT 기반 비디오 사전학습)Mixture-of-Experts(MoE, 전문가 혼합)Embodied intelligence(구체화된 지능)Data profiling engine(데이터 프로파일링 엔진)Robot-oriented footage(로봇 지향 푸티지)Multi-dimensional reward system(다차원 보상체계)Physical rationality(물리적 합리성)

용어 해설

전문가 혼합(MoE)(Mixture-of-Experts): — MoE는 전체 레이어를 밀집식으로 학습하지 않고 여러 전문가(서브네트워크) 중 일부만 활성화하여 계산을 줄이는 아키텍처이다. 입력별로 소수의 전문가만 선택되어 활성화되므로 파라미터 용량은 크되 실제 추론 비용은 낮은 트레이드오프를 달성할 수 있다. 대규모 비디오 모델에서 용량 확장과 추론 효율성 균형을 맞출 때 핵심적이다.
DiT 기반 비디오 사전학습(DiT-based Video Pretraining): — DiT는 이미지/프레임 단위의 Transformer 기반 표현을 비디오로 확장하여 시공간적 패턴을 학습하는 백본이다. 이 논문 맥락에서는 DiT를 비디오 파운데이션 모델의 사전학습 기초로 삼아 행동과 물리적 상호작용을 학습하도록 설계되었다. DiT의 공간적 표현력을 시공간적 일관성 및 물리적 합리성과 연결하는 것이 목적이다.
구체화된 지능(임베디드 인텔리전스)(Embodied Intelligence): — Embodied Intelligence는 에이전트가 물리적 세계에서 감지·행동·상호작용을 통해 목적을 달성하는 능력을 의미한다. 비디오 모델 관점에서는 시각적 장면을 단순 생성 수준을 넘어서 물리적 합리성과 작업 완수 가능성까지 내포하는 표현을 학습해야 한다. 로봇 제어·조작·내비게이션과 직결되는 목표를 가진 연구 분야이다.
데이터 프로파일링 엔진(Data Profiling Engine): — 데이터 프로파일링 엔진은 대규모 인터넷 비디오를 로봇 지향 푸티지(조작·내비게이션·1인칭 관점)로 보강하는 자동화 파이프라인이다. 이 엔진은 비디오의 메타데이터와 장면 특성을 추출해 라벨링이나 샘플링 정책을 적용하여 학습 데이터 분포를 제어한다. 로봇 관련 동작 분포를 확보해 모델이 물리적 상호작용을 학습하도록 돕는다.
다차원 보상체계(Multi-Dimensional Reward System): — 다차원 보상체계는 미학, 프롬프트 준수, 모션 일관성 등 전통적 기준을 넘어 물리적 합리성과 작업 완수 여부를 별도 축으로 평가하는 학습 신호 체계이다. 에피소드별 혹은 샘플별로 여러 보상 항목을 결합하여 최종 학습 신호를 구성하므로 행동의 물리적 타당성과 목적 달성 가능성을 동시에 촉진한다. 비디오 생성 목적이 아닌 로봇 행동 재현을 목표로 할 때 보상 구성의 핵심적 요소이다.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드