TL;DR

LingBot-World V2 14B causal-fast는 14B 규모의 causal 계열 모델을 기반으로 하여 인과적 프리트레이닝으로 시간적 일관성을 확보하고, 기반 모델을 증류해 실시간 추론을 목표로 만든 이미지-투-비디오 시스템이다. 청크 단위 프레임 처리와 KV 캐시, flash_attn 의존성으로 추론 효율을 높였으며 causal-fast 모드는 청크당 적은 샘플링 스텝으로 낮은 지연을 달성하는 반면 causal-pretrain 모드는 더 많은 스텝과 CFG로 품질 중심 추론을 수행하도록 설계되었다. 에이전트 기반의 파일럿·디렉터 분업 구조를 통해 액션 계획과 장면 합성을 분리하여 상호작용적 요소의 다양성을 확장했고 실시간 웹·모바일 데모와 기술 보고서가 공개되어 실험적 재현이 가능하다.

핵심 역량

• 정적 이미지와 텍스트 프롬프트를 입력으로 받아 연속적인 비디오 프레임을 생성할 수 있으며 프레임 간 문맥을 유지하도록 설계되어 장면의 시간적 일관성을 확보한다. 모델은 청크 단위 처리와 KV 캐시를 활용해 반복 계산을 피하고 긴 시퀀스도 다룰 수 있다. 생성 과정에서 다양한 액션 유형(공격, 활쏘기, 주문 시전, 사격 등)과 텍스트 기반 이벤트를 합성할 수 있다.
• 실시간 환경에서 낮은 지연으로 스트리밍 수준의 프레임률을 달성하도록 설계되어 720p 해상도에서 60fps 재생을 목표로 하는 실험적 성능을 지원한다. 이를 위해 기반 모델에서 실시간용으로 증류된 causal-fast 변형을 제공하며 추론 스텝과 샘플링 전략을 줄여 응답 시간을 단축한다. 멀티 GPU 환경에서 torchrun 등 표준 분산 런처로 실행하도록 최적화되어 있다.
• 에이전트 기반 분업 구조를 통해 캐릭터 행동 계획과 환경 요소 합성을 분리할 수 있으며 파일럿 에이전트가 행동을 계획하는 동안 디렉터 에이전트가 장면의 신규 요소를 생성한다. 이 구조는 상호작용 다양성과 텍스트-행동 연계를 확장하며 동적 이벤트의 생성 빈도와 종류를 늘리는 방식으로 동작한다. 실험적 데모와 플랫폼 통합을 통해 에이전트 간 역할 분리를 실시간 워크플로로 연결한다.

강점

• 증류된 causal-fast 변형을 통해 실시간 스트리밍 재생을 목표로 하며 README에서 720p 해상도에서 60fps를 달성할 만큼의 응답 시간을 보장한다고 명시되어 있어 실시간 상호작용 워크플로에 적합하다.
• 청크 단위 처리와 KV 캐시, flash_attn 같은 최적화 의존성으로 긴 시퀀스 처리와 낮은 지연의 추론을 동시에 고려한 엔지니어링이 반영되어 있다.

훈련 방식

14B 규모의 causal 계열 모델을 기반으로 causal pretraining 패러다임을 적용하고, 실시간 사용을 위해 기반 모델에서 증류하여 causal-fast 실시간 변형을 만들었으며 보다 높은 품질을 위해 별도의 causal-pretrain 체크포인트도 계획되었다.

알아두면 좋은 것

• 실시간 변형(causal-fast)은 14B 모델을 대상으로 증류되어 720p 해상도에서 60fps 수준의 스트리밍을 목표로 한다는 성능 목표가 명시되어 있다. 리포트와 추론 코드가 2026년 7월 9일에 공개되었고 실시간 웹·모바일 데모는 Reactor와 LingGuang에서 접근 가능하다.
• generate.py는 KV 캐시를 사용해 비디오 프레임을 청크 단위로 처리하도록 설계되었으며 causal_fast 모드에서는 청크당 적은 샘플링 스텝(예시: 4 steps per chunk)을 사용하여 낮은 지연으로 추론을 수행한다. causal_pretrain 모드는 더 많은 스텝(예시: 40 steps per chunk)과 CFG를 사용하는 설정으로 품질 중심의 추론을 위해 계획되어 있다.
• 코드베이스는 Wan2.2 기반으로 구축되었고 설치 안내에서 flash_attn 같은 고성능 어텐션 구현체를 요구하며 다중 GPU 실행을 위한 torchrun 예시와 run_fast.sh 스크립트가 제공된다.
• 모델 아티팩트는 cc-by-nc-sa-4.0 라이선스로 배포되어 비상업적 재사용을 허용하나 상업적 사용은 제한되며 README에 향후 causal-pretrained와 bidirectional 등의 추가 릴리스 계획이 포함되어 있다.

기술적 특징

• 인과적 프리트레이닝 패러다임을 적용하여 시퀀스 생성 시 앞선 토큰만을 조건으로 안정적인 시간적 일관성을 확보했으며, 이 설계는 장면 연속성을 유지하는 이미지-투-비디오 생성에서 출력 품질의 급격한 변동을 줄이는 데 초점을 맞추었다. 그 결과 모델은 연속 프레임에서 시각적 논리를 유지하면서 장면 전개를 생성하도록 학습되었다.
• 기반 모델에서 성능을 압축하는 지식 증류를 통해 실시간 변형을 만들었고 causal-fast 모드는 청크당 적은 샘플링 스텝(예시로 4 steps per chunk)을 사용해 추론 지연을 줄이는 대신 샘플링 전략을 조정하여 품질-지연 트레이드오프를 관리한다. README의 예시는 causal_pretrain 모드가 더 많은 스텝과 CFG를 사용해 품질 중심 추론을 수행함을 대비해서 제시한다.
• 추론 효율을 위해 프레임을 한꺼번에 처리하지 않고 청크별로 나누어 KV 캐시를 활용하는 아키텍처를 채택함으로써 반복적인 어텐션 계산을 방지하고 메모리 사용을 최적화했다. 이 방식은 긴 프레임 시퀀스에서 계산 오버헤드를 줄이며 멀티 GPU 분산 실행과 잘 결합된다.
• 실시간 성능 목표를 달성하기 위해 flash_attn 같은 메모리·속도 최적화 라이브러리에 의존하고 있으며 설치 지침에서 해당 의존성을 명시해 하드웨어 가속과 메모리 접근 패턴 최적화에 기초한 속도 개선을 구현했다. 이로 인해 대형 어텐션 연산의 병목이 완화되어 고해상도 프레임 처리 시 지연 감소에 기여한다.
• 에이전트화된 처리 구조를 도입해 행동 계획과 환경 합성의 역할을 분리했으며 파일럿 에이전트가 캐릭터의 행동을 계획하고 디렉터 에이전트가 장면 요소를 합성하는 방식으로 상호작용의 다양성과 연속적인 이벤트 생성을 확장했다. 이 구조는 복합적 텍스트-행동 매핑을 단계적으로 처리해 동적 장면 생성의 제어력을 높인다.

차별점

• causal-pretraining 기반으로 장면 일관성을 유지하도록 학습된 점이 일반적인 frame-by-frame diffusion 접근과 구별된다.
• 기반 모델에서 실시간용으로 증류된 causal-fast 변형을 제공해 720p 해상도에서 60fps에 상응하는 스트리밍 성능 목표를 명시한 점이 차별적이다.
• 파일럿·디렉터 역할을 분리한 agentic harness 구조를 도입해 행동 계획과 환경 합성을 분업화함으로써 상호작용적 요소의 다양성을 확장한 점이 독특하다.

벤치마크