TL;DR

이 모델은 LTX-Video 2.3(22B)을 기반으로 어텐션 전용 IC-LoRA 어댑터를 학습시켜 참조 비디오와 고정 카메라 각도 어휘를 입력하면 동일 장면을 요청한 새 카메라 시점으로 재렌더링하는 기능을 제공한다. 학습은 SynCamVideo 합성 멀티뷰 데이터의 294개 참조/타깃 쌍으로 진행되었고 LoRA rank=16, alpha=16, bf16, batch size 1 등 실습 친화적 설정으로 훈련되었다. 출력의 예측 가능성은 고정된 63개 카메라 조합 어휘 사용에 기반하며 더 큰 시점 변화는 소단계 체이닝으로 구현하는 것이 권장된다. 주요 제약으로 훈련 카메라가 정면 섹터(약 ±60° azimuth)로 제한되어 뒤쪽 시점에서는 성능 저하가 발생함이 명시되어 있다.

핵심 역량

• 주어진 참조 비디오의 장면 구성과 피사체를 보존한 채 요청된 새로운 카메라 시점으로 영상을 재렌더링할 수 있다. 이 과정에서 모델은 입력된 참조 프레임의 공간적 배치와 시간적 연속성을 조건으로 사용하여 출력 프레임을 생성한다. 고정된 카메라 어휘를 사용하면 각도 변화의 예측 가능성이 높아진다.
• 시작 이미지를 별도로 요구하지 않고 참조 비디오와 카메라 각도 프롬프트만으로 동작한다. 참조 비디오는 전체 장면의 룩과 위치 정보를 제공하며 모델은 이 정보를 조건으로 새로운 관점의 프레임을 합성한다. ComfyUI 같은 비디오-투-비디오 워크플로에 통합해 사용 가능한 구조로 제공된다.
• 큰 시점 변화는 여러 번의 소단계 각도 변경을 연속 적용하는 체이닝 방식으로 구현할 수 있다. 체이닝 시 생성 결과를 다음 단계의 참조로 재투입하면 점진적으로 카메라 위치를 이동시킬 수 있다. 이 방식은 모델이 학습한 '작은 각도 변화' 범위에서 더 안정적으로 작동하도록 설계되었다.

강점

• LoRA 어댑터 형태로 배포되어 원본 대형 모델 가중치를 변경하지 않고도 특정 작업(시점 변경)을 구현할 수 있다. 이 접근은 모델 파일 크기와 통합 복잡도를 낮추며 기존 LTX-Video 워크플로에 플러그인 방식으로 적용이 가능하다. ComfyUI에서 테스트된 워크플로와 예시 파일이 공개되어 실사용 적용성이 높다.
• 고정된 카메라 각도 어휘와 합성 멀티뷰 데이터로 학습되어 예측 가능한 시점 이동을 제공한다. 이로 인해 동일한 어휘를 사용하면 재현성 있는 뷰 전환이 가능하며 실제 영상으로의 제한적 일반화가 README에 확인되어 있다. 단, 훈련 범위(정면 섹터 ±60°) 밖의 시점은 성능 저하가 발생한다.

훈련 방식

LTX-Video 2.3 (22B)를 기반으로 IC-LoRA 방식으로 어텐션 모듈에 LoRA(rank=16, alpha=16)를 적용해 SynCamVideo의 합성 멀티뷰 데이터 294 쌍으로 학습시켰다.

알아두면 좋은 것

• v0.9은 proof-of-concept 단계로 공개되었고 합성 멀티뷰 데이터로 학습되어 실제 영상으로 어느 정도 일반화되는 특징을 보였다. README에 일반화의 한계와 별도 Limitations 섹션을 통해 훈련 범위의 제약이 명시되어 있다. 유지보수와 개선을 위한 피드백 수신 의사가 표기되어 있다.
• 학습 데이터는 KlingTeam의 SynCamVideo 합성 멀티카메라 데이터셋을 기반으로 했고 10개의 정적 카메라를 사용한 장면에서 294개의 참조/타깃 카메라 쌍으로 구성되었다. 캡션은 카메라 델타(azimuth, elevation, distance)만 포함되며 각 축별로 균형을 맞춘 데이터 배치가 사용되었다. 훈련에 사용된 정확한 쌍과 캡션은 동봉된 CrossView Prompt Dataset에서 공개되었다.
• 이 LoRA는 어텐션 전용 모듈(attn1, attn2의 to_k/q/v/out)에만 적용되었고 LoRA rank와 alpha가 각각 16으로 설정되었다. 훈련 과정은 bf16 mixed precision과 gradient checkpointing, batch size 1의 구성으로 진행되었으며 timestep sampling 범위가 [0.4, 1.0]으로 설정되었다. RunPod의 NVIDIA RTX PRO 6000 Blackwell(96GB) 환경에서 학습이 수행되었다.
• 제약으로는 훈련 카메라 배치가 정면 섹터(대략 ±60° azimuth)로 제한되어 뒤쪽 시점은 범위 밖이라는 사실이 명확히 기재되어 있다. 또한 증류된(distiIled) 몇 단계 워크플로에서 효과가 약해 LoRA strength를 1.2–1.5로 조정하거나 비증류 패스에서 실행할 것을 권장하고 있다. 이러한 제한은 모델의 안정적 사용을 위해 프롬프트와 체이닝 전략에 대한 구체적 지침을 동반한다.

기술적 특징

• 어텐션 전용 LoRA 적용으로 설계되어 attn1과 attn2의 to_k/q/v/out 모듈에만 저순위 보정 행렬을 학습시켰다. 이 방식은 전체 가중치를 업데이트하지 않고 시점 관련 변형을 어텐션 수준에서 주입하도록 해 파라미터 변경량을 최소화했다. 결과적으로 원본 LTX-Video 모델을 유지하면서 시점 제어 기능을 경량 어댑터로 추가할 수 있었다.
• 인컨텍스트(참조) 조건화 구조를 채택해 참조 비디오의 공간적·시간적 정보를 컨텍스트로 사용하여 새로운 시점을 생성했다. 학습 시 conditioning 확률로 reference p=1.0과 first_frame p=0.2를 사용해 참조 영상에 강하게 의존하도록 설정했다. 이 구조는 참조 장면의 피사체와 구도를 보존하면서 카메라 위치만 변경하는 데 특화된 동작을 유도했다.
• 고정된 카메라 어휘(azimuth, elevation, distance)의 이산 조합 63개로 훈련해 프롬프트 입력을 엄격하게 제한함으로써 예측 가능한 출력을 달성했다. 모델은 정확한 어휘 조합에 대해 신뢰성 있는 시점 이동을 보였고 동의어나 자유 서술 형태의 프롬프트는 신뢰도가 떨어진다고 명시되었다. 이러한 어휘 기반 제어는 체이닝을 통한 누적 각도 변환을 안정적으로 수행하게 한다.
• 훈련 데이터는 Unreal Engine 5로 렌더링된 합성 멀티카메라 SynCamVideo 데이터셋을 사용했고 294개의 엄선된 참조/타깃 페어로 구성되었다. 하드웨어는 NVIDIA RTX PRO 6000 Blackwell(96GB)을 이용한 RunPod 클라우드에서 진행되었고 mixed precision(bf16), gradient checkpointing, batch size 1 설정이 사용되었다. 학습은 step 13,700 체크포인트에서 공개되었으며 12k linear + 1.7k warm-start 형태로 이어졌다.

차별점

• 정확히 정의된 카메라 각도 어휘와 63개 조합으로 학습되어 자유문장 프롬프트보다 예측 가능한 시점 제어를 제공한다. 이 어휘는 azimuth·elevation·distance의 이산 표현으로 구성되어 있고 훈련 데이터의 캡션과 일치시킬 때 모델의 성능이 안정적으로 발현된다. 동의어나 상세한 각도 서술은 학습 범위와 어휘 불일치로 인해 성능 저하를 유발한다.
• 어텐션 모듈(attn1, attn2)의 to_k/q/v/out에만 LoRA를 적용한 점이 눈에 띈다. 이 전략은 시점 변형을 어텐션 가중치 조정 수준에서 집중적으로 처리해 모델의 다른 부분을 건드리지 않으면서도 목적 기능을 실현하게 한다. 따라서 원본 모델 호환성 유지와 경량 배포가 동시에 가능하다.
• 합성 멀티뷰 데이터 기반의 소규모(294쌍) 정교한 학습 쌍을 공개하고 companion dataset을 함께 제공해 재현성과 데이터 투명성을 확보했다. 공개된 데이터와 캡션 목록은 동일한 어휘 사용을 강제하는 실험 설계를 반영하며 연구/개발자가 동일 설정을 재현하는 데 도움을 준다. 이 점은 실무적 재현 가능성 측면에서 차별화 요소이다.