Single-stream Diffusion Transformer와 128-Expert 희소 MoE, RL 보상을 적용한 LingBot-Video 공개

커뮤니티 반응은 기술적 의문 제기와 긍정적 관심이 혼재된 상태이며 다수는 VLM 기반 물리 보상이 보상 해킹을 유발할 위험에 주목했고 일부는 희소 MoE와 공개된 가중치로 실험할 기회를 환영했다. 공개된 코드와 가중치를 통해 재현 실험이 가능하다는 점에 긍정적 반응이 많았으나, 비디오 품질 지표만으로 로봇 정책 성능을 단정할 수 없다는 비판도 널리 제기됐다. 전반적으로 수치·구현세부를 근거로 한 심층적 검증 요구가 우세했다.

• VLM 기반 보상을 사용할 경우 보상 해킹을 탐지하기 위해 실제 비디오 네거티브 샘플과 추가적인 보상 항목을 함께 사용해 교차 검증하는 것이 바람직하다.
• 액션-투-비디오 모드를 정책 검증 용도로 삼으려면 생성된 비디오를 실제 로봇 실행과 연계해 폐쇄 루프 성공률, 궤적 오차 등의 정량 지표를 수집해야 한다.
• 공개된 Diffusers/SGLang 스택과 가중치를 활용해 라우팅 수(k)나 활성 전문가 수를 조정하는 ablation 실험을 수행하면 성능·효율 트레이드오프를 명확히 확인할 수 있다.

Sparse MoE

— Mixture-of-Experts 구조에서 전체 전문가 집합 중 소수만 활성화하여 계산 효율을 높이는 기법이다. 입력 토큰에 대해 라우팅 네트워크가 top-k 전문가를 선택하고 선택된 전문가만 연산을 수행하므로 메모리와 연산량을 절감한다. 이 글에서는 128개 전문가 중 top-8을 라우팅해 활성 파라미터를 1.4B로 제한한 구조가 성능·효율 균형을 목적으로 사용됐다.

VLM

— 영상과 텍스트를 함께 처리하도록 학습된 모델로서 이미지 프레임을 입력으로 받아 텍스트 수준의 평가나 특성 추출을 수행한다. 본문에서는 물리적 타당성 보상(physical-plausibility reward)을 채점하는 판정자로 VLM을 사용해 프레임 기반 판단을 자동화하는 용도로 활용했다. VLM 기반 보상은 개념적으로 영상의 정합성을 측정하지만 보상 해킹 위험을 수반한다.

Diffusion Transformer

— 디퓨전 생성 과정과 Transformer 아키텍처를 결합해 시퀀스(프레임)를 생성하는 모델 패밀리로, 노이즈-역전파 단계가 Transformer 블록을 통해 수행된다. 단일 스트림(single-stream) 설계는 시간·공간 축을 연속으로 처리해 일관된 동영상 샘플을 생성하는 데 유리하다. 본 사례에서는 동영상 생성 품질과 행동 예측을 동시에 다루기 위해 해당 구조를 채택했다.

RL post-training

— 기본 생성 모델을 먼저 학습한 뒤 보상 함수를 정의해 정책 최적화를 추가로 수행하는 방법으로, 보상 신호에 따라 출력 특성을 조정한다. 본문에서는 여섯 가지 보상을 이용한 RL 사후훈련을 통해 물리적 타당성 등 다중 목표를 반영하려고 했다. RL 사후훈련은 목표 보상에 과도하게 최적화되면 Goodhart 현상이 발생할 위험이 있다.

RBench

— 텍스트-투-비디오와 관련된 성능을 측정하는 벤치마크로서 여러 차원에서 모델을 비교해 평균 점수와 특정 능력별 성능을 제공한다. 본문에서는 해당 모델이 평균 점수에서 상위를 기록했으나 추론·추리 능력과 같은 Reasoning 차원에서는 폐쇄형 모델이 더 높은 점수를 얻은 점이 지적됐다. 벤치마크 결과는 모델의 생성 품질과 실제 로봇 제어 능력을 직접적으로 동일시할 수 없다는 논점과 연결된다.