TL;DR
비디오 생성 모델은 단순한 픽셀 합성에서 벗어나 상호작용 가능한 환경 시뮬레이션으로 확장되고 있으며, 이 과정에서 'Object Permanence' 즉 가시영역 밖에서도 객체 상태를 지속적으로 유지하는 능력이 핵심 제약이 되었다. WorldDirector는 모션 계획과 시각 합성을 명확히 분리하고 LLM을 궤적 오케스트레이터로 활용해 장기간의 객체 정체성과 물리 논리를 보장한다. 이 접근은 카메라가 객체를 가리지 않는 연속 관측을 필요로 하지 않으면서도 재등장 시 원본 외형을 온전히 복원할 수 있게 한다.
왜 중요한가
비디오 생성 모델은 단순한 픽셀 합성에서 벗어나 상호작용 가능한 환경 시뮬레이션으로 확장되고 있으며, 이 과정에서 'Object Permanence' 즉 가시영역 밖에서도 객체 상태를 지속적으로 유지하는 능력이 핵심 제약이 되었다. WorldDirector는 모션 계획과 시각 합성을 명확히 분리하고 LLM을 궤적 오케스트레이터로 활용해 장기간의 객체 정체성과 물리 논리를 보장한다. 이 접근은 카메라가 객체를 가리지 않는 연속 관측을 필요로 하지 않으면서도 재등장 시 원본 외형을 온전히 복원할 수 있게 한다.
핵심 기여
LLM 기반 3D 궤적 오케스트레이션으로 모션과 렌더링 분리
사용자 지시를 LLM이 3D 바운딩박스와 카메라 경로로 변환해 의미 수준의 모션 계획을 생성한다. 이 3D 계획은 2D로 투영되어 위치 조건(Location Condition)으로 사용되며, 렌더링 모듈은 이 위치 신호를 따라 객체의 연속적 물리 이동을 합성한다. 결과적으로 모션 추론은 생성 모델의 내부 사전(prior)에 의존하지 않고 외부 플래너에 의해 결정되어 장시간의 궤적 붕괴를 방지한다.
외형 앵커를 제공하는 Appearance Condition과 Temporal Drop 설계
과거 프레임에서 추출한 객체의 RGB 특징을 appearance condition으로 채널 합성해 재등장 시 시각적 정체성을 유지한다. 처음 진입 후 16프레임은 밀집 보존하고 이후에는 6프레임 간격으로 샘플링하는 Temporal Drop을 적용해 외형 정보량을 제한한다. 이 설계는 외형 일관성을 보장하면서도 객체가 단순히 슬라이딩하는 인공적 결과를 피하도록 궤적과 캡션 중심의 자연스러운 동작 합성을 유도한다.
컨텍스트 통합을 위한 RoPE 오프셋과 비대칭 어텐션
과거 컨텍스트 프레임을 시퀀스 전단에 결합하고 해당 컨텍스트의 RoPE 타임스텝을 큰 오프셋으로 이동시켜 시간 주파수 공간에서 명확한 경계를 만든다. 컨텍스트 토큰은 자체 어텐션만 허용하는 비대칭 마스크로 보호되어 노이즈가 고해상도 참조를 오염시키지 않는다. 이러한 처리로 모델은 깨끗한 역사적 앵커를 기준으로 새로운 타깃 청크만 복원하도록 학습된다.
청크 기반 인과적 생성 파이프라인과 실험적 지표에서의 성능 우위
장기 탐색을 위해 영상을 연속된 5초 청크로 분할하고 오토리그레시브하게 생성하면서 이전 청크에서 위치와 외형 조건을 갱신해 재사용한다. 테스트 세트에서 WorldDirector는 PSNR 18.127, SSIM 0.502, LPIPS 0.359를 달성해 재구성 지표에서 우수한 성능을 보였다. 정성 실험에서는 장기간 뷰 이탈 후 재등장 시에도 객체 정체성 보존 능력이 기존 방법보다 뚜렷하게 우수했다.
핵심 아이디어 이해하기
문제의 출발점은 동적 객체가 카메라 시야에서 사라졌을 때에도 물리적으로 연속적인 궤적과 시각적 정체성을 유지해야 한다는 요구이다. 기존의 생성 모델들은 시각적 픽셀 복원과 동적 상태 보존을 동일한 내부 파라미터로 처리해, 장기간 관측 공백이 발생하면 궤적 붕괴나 정체성 손실이 발생했다. 따라서 객체의 위치·운동 계획과 픽셀 합성 과정을 분리하면 각 역할을 전담하도록 설계할 수 있다.
방법론
WorldDirector는 LLM을 모션 오케스트레이터로 삼아 3D 바운딩박스와 카메라 경로를 계획하고 이를 2D 위치 조건으로 투영해 생성 모델에 공급하는 구조다. 생성기는 위치 조건과 외형 조건을 별도 채널로 3D VAE로 인코딩한 뒤 노이즈 잠재와 채널-연결(channel-concat)으로 결합하여 Conv3D 계층을 통해 처리한다. 과거 컨텍스트는 시퀀스 전단에 붙여 RoPE 인덱스를 큰 오프셋으로 이동시키고, 컨텍스트 토큰은 자체 어텐션만 허용하는 비대칭 마스크로 보호하여 현재 청크의 노이즈가 참조를 오염시키지 못하게 한다.
관련 Figure
이 다이어그램은 모션 플래닝과 시각 합성의 분리를 시각적으로 명확히 제시하며 각 조건(ℬ, 𝒜, ℳ)이 어디에서 유래하고 어떻게 결합되는지 단계별 처리 흐름을 보여준다. Conv3D 채널 결합, 시퀀스 레벨 컨텍스트 전단, 그리고 카메라 인젝션 모듈이 어떻게 배치되는지 한눈에 파악되므로 방법론 이해에 직접적인 근거를 제공한다.
WorldDirector 전체 파이프라인 개요로서 LLM 기반 3D 궤적 계획, 위치·외형 조건 생성, 컨텍스트 결합 및 DiT 기반 생성 흐름을 도식화해 보여준다.
이 그림은 LLM 기반의 세계 계획이 시간축을 넘어 일관되게 객체를 배치하고 카메라를 제어하는 과정을 보여주며, 청크 단위로 생성이 누적되어 장기 시뮬레이션이 가능함을 시각적으로 입증한다. 생성된 프레임과 그 아래의 3D 트랙토리 시각화가 결합되어 있어 계획-생성 일관성의 유무를 직관적으로 평가할 수 있다.
장시간(여러 청크)에 걸친 장면 탐색 예시로서 LLM이 계획한 3D 궤적과 각 청크에서 생성된 프레임을 대응시켜 보여준다.
주요 결과
정량 결과에서 WorldDirector는 PSNR 18.127, SSIM 0.502, LPIPS 0.359을 기록해 제시된 비교군 중 재구성 지표에서 선두를 차지했다. VBench 기반 Subject 및 Background Consistency 항목에서는 Yume, HY-World, Infinite-World가 강점을 보였으나 이들 방법은 상대적으로 동적 변화가 적어 유리한 면이 있었다. Dynamic Subject Consistency(DSC)에서 WorldDirector는 DSC_DINO 0.769, DSC_CLIP 0.917을 달성해 재등장 객체의 시각적 일관성에서 우수한 성능을 보였다.
관련 Figure
이미지 열은 동일한 시나리오에서 각 방법이 시간 경과에 따라 객체의 움직임과 외형을 어떻게 유지하는지 비교할 수 있게 구성되어 있다. 특히 카메라가 객체를 가리는 구간 이후 재등장하는 프레임에서 다른 방법들이 정체성 왜곡이나 정지 현상을 보이는 반면 WorldDirector는 외형과 위치 모두에서 더 일관된 결과를 유지하는 점이 시각적으로 확인된다.
여러 비교 기법과의 정성적 생성 결과를 프레임 시퀀스로 제시해 WorldDirector가 장기 재등장 시 객체 정체성을 더 잘 보존함을 보여준다.
세 줄 비교는(1) 외형 조건 없음, (2) 외형 없음 + self-attention routing, (3) 제안 방법의 결과를 보여주며 각 경우의 텍스처 보존과 아티팩트 발생 양상을 비교 가능하게 한다. 이 그림은 수치적 ablation(Table 2)과 일치하는 정성 증거를 제공하며 외형 채널이 없을 때 정체성 손실이 발생하고, 임의의 어텐션 편향은 잠재 분포 왜곡으로 아티팩트를 초래함을 뒷받침한다.
Appearance Condition의 유무와 자체 어텐션 루팅 적용에 따른 결과를 비교하는 ablation 그림으로 외형 채널의 필요성을 강조한다.
기술 상세
전체 아키텍처는 사전 학습된 LingBot-World-Base를 기반으로 확장되었으며 입력 영상은 832×480 해상도, 16fps로 전처리된다. 위치 조건 ℬ와 외형 조건 𝒜는 각각 3채널 텐서로 표현되어 사전 학습된 3D VAE 인코더 ℰ로 잠재 토큰으로 변환되고, 노이즈 잠재 z_t와 채널-연결(⊕)된 후 Conv3D 처리를 거쳐 디퓨전 Transformer(디퓨전 기반 DiT 블록)로 입력된다. 외형 조건은 각 객체에 대해 처음 16프레임은 밀집 보존하고 이후에는 6프레임 간격으로 한 장씩 유지하는 Temporal Drop 연산 𝒟_τ를 통해 희소화되며, 희소화된 외형은 null 임베딩으로 매스킹된 상태로 통합된다.
한계점
논문은 주로 게임 기반 합성 데이터를 사용해 다양한 재등장 및 카메라 조작 시나리오를 확보했으나 이로 인해 현실 데이터와의 도메인 갭이 존재한다. 이 도메인 갭은 사람의 보행 자연스러움이나 얼굴 디테일에서 시각적 품질 저하로 이어질 수 있다. 논문 자체에서도 향후 실제 영상 데이터 통합을 통해 시각적 사실성을 개선할 필요가 있다고 명시하고 있다.
실무 활용
WorldDirector의 구조는 시뮬레이션 기반 콘텐츠 생성, 장기 행동 계획이 필요한 인터랙티브 시나리오, 그리고 사용자가 설계한 이벤트를 영상으로 시각화하는 애플리케이션에 적용 가능하다. 위치와 외형 조건을 분리한 설계는 사용자 제어성을 높여 특정 엔티티의 출현 타이밍과 경로를 정확히 재현할 수 있게 한다. 다만 논문에서 공개한 실험은 합성 게임 데이터 기반이므로 도메인 적응 단계가 필요하다.
- 게임 시네마틱에서 NPC의 장기 궤적과 외형 일관성을 유지하며 자동으로 장면을 생성하는 파이프라인으로 활용할 수 있다.
- 시나리오 기반 훈련 데이터 생성에 활용해 로봇 시뮬레이션이나 행동 예측 모델의 장기 동작 데이터를 합성할 수 있다.
- 사용자 지시로 다중 엔티티를 동시 조작하는 인터랙티브 스토리텔링 도구의 백엔드로 쓰일 수 있다.
코드 공개 여부: 비공개
키워드
용어 해설
- Appearance Binding
- — 동적 객체가 카메라에서 사라졌다 재등장할 때 동일한 시각적 정체성을 유지하도록 과거 프레임에서 추출한 RGB 특징을 특정 시공간 인덱스에 주입해 외형 일관성을 보장하는 기법이다. 이 방식은 객체의 위치·자세 변화는 궤적으로 제어하되 세부 텍스처와 색상 정보는 고정된 시각적 앵커로서 보존하여 재등장 시 정체성 훼손을 방지한다. WorldDirector에서 Appearance Binding은 appearance condition 채널과 Temporal Drop과 결합되어 재현성과 자연스러운 움직임 균형을 맞춘다.
- Temporal Drop
- — 객체가 뷰에 진입한 직후의 촘촘한 외형 레퍼런스를 유지하다가 이후에는 간격을 두고 일부 프레임만 보존하는 샘플링 규칙이다. 구체적으로 처음 16프레임은 촘촘히 유지하고 이후에는 6프레임 간격으로 한 장씩 유지해 appearance condition의 정보량을 제한한다. 이로 인해 모델은 외형 앵커를 통해 정체성을 지키되 궤적과 캡션을 이용해 적절한 관절·자연스러운 동작을 생성하도록 강제된다.
- Spatial-Aware Cross-Attention
- — 텍스트 토큰과 시각 토큰 간의 교차 어텐션 계산에서 각 객체의 2D 바운딩 박스에 해당하는 시각 토큰에 가중치를 부여해 텍스트의 지역적 영향력을 강화하는 기법이다. 이 방식은 개별 객체 설명이 프레임 전체로 유출되는 현상을 억제하고, 객체별 캡션이 해당 공간 영역에만 강하게 적용되도록 유도한다. WorldDirector는 이 메커니즘을 통해 다중 동적 객체에 대한 정교한 텍스트 기반 제어를 달성한다.
- Causal Chunk Generation
- — 긴 영상 시퀀스를 계산적으로 처리하기 위해 연속된 시간 구간을 청크로 나누어 오토리그레시브하게 순차 생성하는 워크플로이다. 각 청크는 이전에 생성된 청크에서 위치·외형·컨텍스트를 검색해 조건으로 사용하며 메모리를 통해 객체 정체성과 궤적을 유지한다. 이 구조는 무한 길이 탐색을 가능하게 하며, context 토큰의 RoPE 오프셋과 비대칭 어텐션으로 과거 참조가 오염되지 않도록 설계된다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.