TL;DR

이 모델은 LTX-2.3-22B 기반에 IC-LoRA를 적용해 단일 레퍼런스 시트를 조건으로 비디오를 생성하도록 설계된 video-to-video 제어용 LoRA다. 레퍼런스 시트는 캐릭터·소품·세트의 패널을 한 이미지에 모은 뒤 정적 비디오로 루핑해 입력으로 제공되며, 모델은 이 입력의 잠재 표현(reference latents)을 읽어 외형을 고정한 채 새로운 동작을 렌더링한다. 학습은 DiT Transformer의 주요 투사(q/k/v/out)와 FF 계층에 rank=128, alpha=128 LoRA를 적용하는 방식으로 이루어졌고 bf16, AdamW-8bit, gradient checkpointing을 사용해 12,000스텝까지 진행되었다. 훈련은 단일 버킷(768×448, 121프레임, 24fps)에서 이루어졌고 추론 권장값으로 LoRA strength 1.4, 30 스텝, guidance scale 4.0과 STG(mode `stg_v`, block 29, scale 1.0)을 제시한다. 결과적으로 이 구성은 주어진 레퍼런스의 시각적 정체성을 높은 일관성으로 유지하는 생성에 유리하나, 단일 해상도·길이 버킷에 특화되어 있어 다른 해상도나 훨씬 긴 클립, 레퍼런스 없는 사용은 분포 외(번역: OOD)에 해당해 결과 품질이 떨어질 가능성이 크다. 또한 데이터는 사유 데이터셋으로 훈련되어 외부 재현성이 제한된다.

핵심 역량

• 단일 레퍼런스 시트를 기반으로 캐릭터·소품·장소의 외형을 유지한 단편 비디오 생성
• 프롬프트의 'Generated video:' 부분으로 동작·장면 연출을 제어하여 레퍼런스에 맞춘 동적 장면 생성
• 입력 레퍼런스와 동일 해상도·프레임으로 출력할 때 훈련 분포에 맞는 안정적 결과 제공

강점

• 레퍼런스 시트 조건화를 통해 캐릭터·소품·세트의 시각적 정체성이 유지되어 일반적인 text-to-video보다 동일 인물·소품의 반복성이 우수하다 — README의 'control type'·'intended use' 근거.
• 출력 해상도와 레퍼런스 해상도를 동일하게 처리(reference downscale factor 1)하도록 학습되어 훈련 버킷(768×448, 121프레임)에서 높은 일관성과 충실도를 기대할 수 있다 — README의 배포 권장 설정 근거.

훈련 방식

LTX-2.3-22B를 기반으로 DiT Transformer의 attn/ff 계층에 IC-LoRA(rank=128, alpha=128, dropout=0.0)를 적용해 reference latents에 대해 video_to_video 방식으로 학습했고 bf16, AdamW-8bit, gradient checkpointing을 사용해 12,000 스텝까지 훈련했다.

알아두면 좋은 것

• 모델은 LTX-2.3-22B 기반의 IC-LoRA이며 레퍼런스 시트를 정적 비디오로 루핑해 입력으로 사용한다.
• 훈련·검증은 단일 버킷(768×448, 121프레임, 24fps)에서 이루어졌으며, 이 범위를 벗어나면 OOD이다.
• LoRA 하이퍼파라미터: rank=128, alpha=128, dropout=0.0; 학습 스텝은 최대 12,000 스텝(권장 체크포인트: step 12,000).
• 모델 사용 전 'Agree and Access'를 통한 개인정보·업데이트 수신 동의 절차가 있으며 라이선스는 ltx-2-community-license(링크 있음)이다.

기술적 특징

• IC-LoRA 적용 위치와 구성: DiT Transformer의 attn1/attn2 q/k/v/out 투사와 feed-forward 계층에 LoRA를 적용했고 rank=128, alpha=128, dropout=0.0을 사용해 전체 가중치는 고정한 채 저순위 보정으로 레퍼런스 조건화를 수행했다. 이 방식은 파라미터 변경을 최소화하면서 레퍼런스 외형 정보를 모델 표현에 결합하도록 설계되었다.
• 레퍼런스 처리 방식: 레퍼런스 시트를 정적 비디오로 루핑해 출력 길이·프레임레이트에 맞춰 입력하고 reference latents에 대해 video_to_video 전략으로 학습했다. 레퍼런스는 출력과 동일 해상도로 제공되어(다운스케일 팩터 1) 공간 해상도 불일치로 인한 왜곡을 줄인다.
• 버켓화된 훈련 분포와 제약: 모델은 단일 해상도·길이 버킷(768×448, 121프레임, 24fps)에서 학습되어 해당 분포 내에서 최적 동작을 보이도록 최적화되었다. 따라서 다른 해상도나 훨씬 긴 클립은 분포 외(OOD)로 간주되어 품질 저하가 발생할 수 있다.
• 학습 효율화와 인프라: bf16 mixed precision, AdamW-8bit, gradient checkpointing과 배치 사이즈 1 환경에서 8×GPU DDP로 학습을 진행해 메모리·속도 트레이드오프를 관리했다. 이러한 설정은 대형 기반 모델 위에 LoRA를 추가한 파인튜닝에서 계산 비용을 제어하기 위한 실무적 선택이다.
• 추론·가이드라인: 권장 LoRA strength 1.4, inference steps 30, guidance scale 4.0을 제시하며 검증에선 spatiotemporal guidance(STG, mode `stg_v`, block 29, scale 1.0)를 사용해 모션 안정성을 개선했다. LoRA 로더는 레퍼런스 경로를 무시하는 일반 로더와 다르게 reference 입력을 연결해야 조건화가 적용된다.

차별점

• Reference-sheet conditioning: 단일 합성 이미지(패널별 캐릭터·소품·세트)를 정적 비디오로 루핑해 입력으로 사용함으로써 생성물의 시각적 정체성을 직접 제어한다.
• IC-LoRA 방식: 전체 가중치를 바꾸지 않고 DiT Transformer의 핵심 투사·FF 계층에 LoRA를 적용해 레퍼런스 정보를 컨텍스트로 통합한다.
• 훈련 분포 고정: 특정 해상도(768×448)와 길이(≥121프레임), 24fps 버킷에서 전용으로 학습되어 해당 조건에서 예측 가능한 품질을 보장한다.
• 레퍼런스-레벨 처리: 레퍼런스 다운스케일 팩터 1과 reference latents에 대한 video_to_video 훈련 전략으로 입력과 출력의 공간적 일치를 유지한다.