섹션별 상세
Waypoint-1은 텍스트와 키보드/마우스 입력을 통해 실시간으로 제어 가능한 월드 모델이다. 10,000시간의 게임 영상 데이터를 학습하여 사용자가 생성된 세계와 지연 없이 상호작용할 수 있는 환경을 제공한다.
모델은 프레임 인과 관계를 따르는 Rectified Flow Transformer 아키텍처를 기반으로 하며 잠재 공간에서 압축된 프레임을 처리한다. 기존 비디오 모델의 미세 조정 방식과 달리 처음부터 인터랙티브 경험을 위해 설계되어 자유로운 카메라 이동과 키 입력을 지원한다.
학습에는 과거 프레임을 조건으로 미래를 예측하는 Diffusion Forcing 기법이 사용되었다. 추론 시 발생하는 오차 누적을 방지하기 위해 Self-forcing 및 DMD 기법을 도입하여 적은 단계의 디노이징으로도 고품질의 연속 프레임을 생성한다.
전용 추론 라이브러리 WorldEngine은 AdaLN 기능 캐싱과 정적 KV 캐시 최적화를 통해 성능을 극대화한다. RTX 5090 환경에서 2단계 디노이징 시 최대 60 FPS의 실시간 스트리밍 속도를 구현하며 Python 환경에서 쉽게 확장 가능하다.
python
from world_engine import WorldEngine, CtrlInput
# 추론 엔진 생성
engine = WorldEngine("Overworld/Waypoint-1-Small", device="cuda")
# 프롬프트 설정
engine.set_prompt("A game where you herd goats in a beautiful valley")
# 컨트롤러 입력에 따른 프레임 생성 루프
for controller_input in [
CtrlInput(button={48, 42}, mouse=[0.4, 0.3]),
CtrlInput(mouse=[0.1, 0.2]),
CtrlInput(button={95, 32, 105}),
]:
img = engine.gen_frame(ctrl=controller_input)WorldEngine을 사용하여 텍스트 프롬프트와 컨트롤러 입력에 기반한 실시간 프레임을 생성하는 예시
용어 해설
- 디퓨전 포싱(Diffusion Forcing)
- — 비디오 생성 시 과거 프레임 정보를 조건으로 주어 다음 프레임의 노이즈를 제거하도록 학습하는 기법이다. 모델이 시계열 데이터의 인과 관계를 파악하게 하여 일관성 있는 비디오 생성을 가능하게 하는 핵심 메커니즘이다.
- 레티파이드 플로우 트랜스포머(Rectified Flow Transformer)
- — 데이터와 노이즈 사이의 이동 경로를 직선으로 최적화하여 생성 효율을 높인 트랜스포머 구조이다. 적은 계산 단계로도 고품질의 샘플을 생성할 수 있어 실시간 비디오 확산 모델의 성능을 보장하는 데 기여한다.
- 셀프 포싱(Self-forcing)
- — 모델이 생성한 이전 출력을 다시 입력으로 사용하는 추론 환경을 학습 단계에서 모방하는 기법이다. 이를 통해 장기적인 프레임 생성 시 발생할 수 있는 오차 누적과 화질 저하 문제를 효과적으로 억제한다.
기술
- Waypoint-1
- WorldEngine
- Rectified Flow
- Diffusion Forcing
- DMD
활용 사례
- AI 기반 오픈월드 게임
- 실시간 가상 시뮬레이션
- 인터랙티브 스토리텔링 도구
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 01. 20.수집 2026. 02. 21.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
