TL;DR

Lyra 2.0은 단일 이미지에서 장기적 기하 일관성을 가진 비디오를 합성하고 이를 명시적 3D 가우시안 장면으로 재구성해 탐험 가능한 3D 월드를 생성하는 프레임워크이다. 입력으로 카메라 파라미터(권장 81 프레임)와 480×832 해상도 이미지를 받아 장기 시퀀스의 전역 기하 일관성을 확보한 뒤, 그 시퀀스를 3D 가우시안 프리미티브 집합으로 변환해 실시간 렌더링을 염두에 둔 출력(.ply 등)을 만든다. 아키텍처는 WAN-14B 기반의 Transformer 계열(약 14B 파라미터)을 사용하며, 두 단계 설계를 통해 공간 망각과 시간적 드리프트를 별도 기제로 다룬다. 공간 망각 완화를 위해 프레임별 3D 기하를 보관해 정보 라우팅(과거 프레임 검색 및 밀집 대응)에 활용하고, 시간적 드리프트는 자기증강 히스토리 학습으로 교정한다. 학습은 하이브리드 방식의 오픈 도메인 비디오-텍스트·깊이 데이터(약 100k 이미지 프레임, 연구용 데이터)로 수행되었고, 대규모 GPU(H100 등) 환경에서 학습·추론을 목표로 최적화되었다. 이 접근은 단일 이미지 기반 3D 생성의 공간 지속성과 실시간 활용 가능성을 높였으나, 학습 데이터에 합성 데이터가 포함된 점과 라이선스가 내부 연구용으로 제한되는 점이 실무 적용과 일반화의 제약 요인이다. 또한 README는 정량적 벤치마크 수치는 제시했으나 구체 점수는 게시하지 않아 성능 비교 해석은 원문 수치가 필요하다.

핵심 역량

• 단일 입력 이미지와 카메라 궤도로부터 장기적·전역 기하 일관성을 갖춘 비디오 시퀀스 합성
• 생성된 시퀀스를 3D 가우시안 프리미티브 집합으로 재구성해 .ply 등 포맷으로 출력
• 프레임 간 밀집 대응을 활용해 공간적 지속성(spatial persistence)을 유지
• 자기증강 히스토리(Self-augmented histories)로 시간적 드리프트를 보정하는 학습
• 실시간 렌더링 대상의 경량화된 3D 표현(가우시안 기반) 제공

강점

• 단일 이미지에서 장기적 기하 일관성을 유지한 비디오 합성과 이를 명시적 3D 가우시안으로 변환하는 통합 워크플로를 제시해 단일 이미지 3D 생성 분야에서 향상된 결과를 목표로 삼는다(README에서 'new state of the art' 표기).
• 실시간 렌더링이 가능한 3D 가우시안 표현을 출력해 렌더링 효율과 응용성 측면에서 유리하며, NVIDIA H100/GB200 같은 가속 하드웨어에 최적화되었다.

훈련 방식

WAN-14B 기반으로 구축하고 자기증강 히스토리(self-augmented histories)를 도입해 시간적 드리프트를 교정하며, 합성·자동화·인간 혼합 수집의 오픈 도메인 비디오-텍스트·깊이 데이터(약 100k 프레임, 3D 주석 포함)로 학습했다.

알아두면 좋은 것

• 두 단계 설계: 장기 일관성 비디오 합성 후 해당 시퀀스를 3D 가우시안으로 재구성하여 공간 지속성과 실시간 렌더링을 지원한다.
• 공간 망각 완화를 위해 프레임별 3D 기하를 보관하고 이를 정보 라우팅(과거 프레임 검색·밀집 대응)에만 사용하며 외형은 생성 사전(prior)에 의존한다.
• 시간적 드리프트 완화를 위해 자기증강 히스토리로 학습해 모델이 자신의 열화된 출력을 교정하도록 학습시킨다.
• 모델은 WAN-14B 기반, 파라미터 수 14B이며 H100/GB200 등 NVIDIA GPU 가속을 염두에 둔 최적화 환경을 권장한다.

기술적 특징

• 두 단계 아키텍처로 먼저 장기적·전역 기하 일관성을 가진 비디오를 합성하고, 그 비디오를 명시적 3D 가우시안 표현으로 재구성해 각각의 단계가 다른 역할을 맡음으로써 확장성과 공간 지속성을 확보했다. 이 분리는 기하 정보의 유지와 외형 합성을 역할 분리해 복잡한 시퀀스 생성에서의 오류 전파를 줄인다.
• 공간 망각 문제를 완화하기 위해 프레임별 3D 기하를 보관하고 이를 정보 라우팅용으로 사용한다. 모델은 보관된 기하를 통해 관련 과거 프레임을 검색하고 밀집 대응을 수립해 목표 시점의 기하학적 일관성을 확보하는 반면, 색·외형 합성은 생성적 prior에 의존해 표현의 유연성을 유지한다.
• 시간적 드리프트를 다루기 위해 자기증강 히스토리(self-augmented histories)를 적용해 학습 중 모델이 자신의 열화된 출력을 접하도록 함으로써 드리프트를 축적하지 않고 교정하는 방향으로 동작을 학습시켰다. 이 접근은 장기 시퀀스 생성에서 누적 오류를 줄이는 효과를 노린다.
• 명시적 출력으로 3D 가우시안(위치·공분산·색·불투명도)을 사용해 장면을 원시 프리미티브로 표현함으로써 실시간 렌더링과 포맷(.ply 등) 호환성을 확보했다. 가우시안은 뷰 의존 색상을 위한 Spherical Harmonics 계수도 지원하여 시각적 품질을 보존한다.
• WAN-14B 기반의 대형 Transformer 계열 백본(약 14B 파라미터)을 사용하고 WAN-2.1 런타임 연동 및 NVIDIA H100/GB200 등 GPU 최적화로 대규모 학습·추론 성능을 확보했다. training 로그에 따르면 32 노드 H100에서 4000 iterations로 학습되었고 토큰 소비는 약 240억으로 보고되었다.

차별점

• 장기 일관성 비디오 합성과 3D 가우시안 재구성을 분리한 두 단계 파이프라인 구조
• 프레임별 3D 기하를 정보 라우팅에만 활용해 공간 망각을 줄이는 설계
• 자기증강 히스토리로 시간적 드리프트를 직접 학습 통해 보정하도록 만든 학습 전략
• 출력을 3D 가우시안 프리미티브로 제공해 실시간 렌더링과 경량화된 3D 표현을 동시에 지원