TL;DR

이 모델은 LTX-2.3 22B를 기반으로 한 IC-LoRA로서 원본 레퍼런스 영상의 latent를 조건 신호로 활용해 사람과 이동체를 제거한 동일 프레이밍의 클린 플레이트를 생성한다. 학습은 26개의 쌍 데이터와 rank 32, alpha 32 설정의 IC-LoRA로 3000스텝 동안 단일 H100 80GB에서 약 224분 동안 진행되었고 출력은 49 프레임 @25fps 규격을 기준으로 정렬된다. 입력은 공간 치수가 32로 나누어 떨어지고 프레임 수가 8k+1이어야 하며 마스크 입력을 지원하지 않아 피사체가 화면 대부분을 차지하는 장면에서는 성능 한계가 존재한다. ComfyUI 워크플로와 함께 strength=1.0 초기값으로 사용하고 특정 오브젝트 제거를 강화하려면 대상 오브젝트를 긍정·네거티브 프롬프트에 모두 명시해야 한다.

핵심 역량

• 원본 클립을 레퍼런스 조건으로 사용해 동일 길이와 동일 프레이밍의 빈 배경(클린 플레이트)을 생성할 수 있다. 이 과정에서 정적 배경 요소인 건축물, 바닥 마킹, 식생, 가로등 등은 보존되며 동적 피사체인 사람과 차량은 제거된다. 텍스트 프롬프트로 결과의 세부 묘사와 제거 대상 오브젝트를 명확히 지정할 수 있다.
• 전경 오클루더의 일부분(예: 자전거의 핸들바나 팔)이 주변 배경에 충분한 정보가 있을 때 제거해 배경을 복원할 수 있다. 훈련 데이터가 occluder 주변의 배경 복원을 포함하므로 주변 픽셀과 연속성을 활용해 잔존 아티팩트를 줄인다. 특정 오브젝트 제거에 효과를 높이려면 해당 오브젝트를 긍정 및 네거티브 프롬프트에 모두 명시해야 한다.
• 출력은 입력과 프레임 정렬이 유지되며 오디오 트랙이 있는 입력을 권장하므로 오디오 인코딩 파이프라인과 호환되는 워크플로에서 사용하기에 적합하다. 모델은 오디오 생성 기능을 갖추지 않았으므로 오디오 트랙은 단순 전달 또는 무음 트랙 추가 방식으로 처리된다. 프레임 및 해상도 규격을 지키면 결과물의 길이와 프레이밍이 입력과 일치한다.

훈련 방식

LTX-2.3-22B 기반의 Video-to-Video IC-LoRA로 처음부터 학습했으며 reference-latents 디렉토리를 사용한 reference-latent conditioning과 first_frame_conditioning_p = 0.1을 적용했다. 학습 하이퍼파라미터는 rank 32, alpha 32, dropout 0.0, AdamW 옵티마이저, learning rate 2e-4(선형 감쇠), batch size 1, bf16 mixed precision으로 구성됐다. 학습은 LTX-2 Community Trainer를 사용해 단일 H100 80GB에서 약 3000스텝, 소요 시간 약 224분, 피크 약 55GB VRAM으로 진행됐다.

알아두면 좋은 것

• 학습 데이터는 26개의 쌍으로 구성되어 각 쌍은 피사체가 포함된 레퍼런스 클립과 해당 클린 플레이트 타깃으로 이루어졌으며 장면 유형은 거리, 사무실, 공항 홀, POV 등으로 다양했다.
• 훈련은 rank 32, alpha 32, dropout 0.0 설정의 IC-LoRA로 수행되었고 하이퍼파라미터는 AdamW, learning rate 2e-4에서 선형 감쇠로 0까지 조정되었다.
• 모델은 마스크 입력을 지원하지 않는 전프레임 방식이며 입력은 공간 치수가 32로 가분해지고 프레임 수가 8k+1이어야 하는 제약이 있다.

기술적 특징

• IC-LoRA 구조는 LTX-2.3-22B의 주요 어텐션 및 FFN 모듈(attn1/attn2의 to_q, to_k, to_v, to_out.0 및 ff.net.0.proj, ff.net.2)에 저순위 어댑터를 삽입해 전체 가중치는 유지하면서 적은 파라미터로 도메인 특화 기능을 학습한다. rank 32와 alpha 32 설정으로 어댑터의 표현력을 확보했고 dropout은 0.0으로 설정해 학습 신호를 보존했다. 이 설계는 대형 기반 모델의 일반적 시각 표현을 유지하면서 VFX용 클린 플레이트 특화 능력을 추가하는 데 목적이 있다.
• Reference-latent conditioning은 레퍼런스 클립의 latent를 conditioning 신호로 사용해 텍스트가 아니라 영상 자체의 시각 정보를 바탕으로 재구성을 유도한다. inference 시 원본 클립을 레퍼런스로 투입하면 LoRA가 동적 피사체를 제거한 동일 프레이밍의 출력을 생성하도록 latent 연결이 작동한다. 이 접근은 텍스트 트리거 없이도 입력 영상의 구조적·조명 정보를 직접 반영하는 결과를 낳는다.
• 첫 프레임 컨디셔닝(first_frame_conditioning_p = 0.1)은 시퀀스 안정성을 높이기 위해 일부 조건화를 초기 프레임에 집중시키는 방식으로 적용됐다. 이 설정은 연속 프레임 간 정렬성 및 배경 일관성 유지에 기여하며 빠르게 변화하는 동적 피사체가 있는 장면에서 잔상 발생을 줄이는 데 도움을 준다. 학습은 gradient checkpointing과 bf16 mixed precision을 사용해 VRAM 사용을 최적화했다.
• 해상도와 프레임 구성은 1024×576 및 576×1024의 버킷과 49 프레임 @ 25 fps로 학습되어 동일한 프레임 수와 프레이밍을 출력으로 보장하도록 설계됐다. 입력 해상도는 32로 나누어 떨어져야 하고 프레임 수는 8k+1 규격을 충족해야 한다는 전처리 제약이 존재한다. 이러한 고정된 시퀀스 규격은 VFX 파이프라인에서 프레임 정렬성과 합성 편의성을 높인다.

차별점

• LTX-2.3 22B 기반의 IC-LoRA 방식으로 대형 비디오 기반 모델의 가중치는 보존하면서 목표 기능만을 적은 수의 파라미터로 추가 학습했다.
• 레퍼런스 영상의 latent를 직접 조건 신호로 사용하는 reference-latent conditioning을 사용해 텍스트 없이도 동일 프레이밍의 빈 배경을 재구성하도록 설계되었다.
• 마스크 입력을 받지 않는 전프레임(global) 제거 방식으로 전체 프레임에서 동적 피사체를 자동으로 제거하도록 최적화되어 VFX 워크플로와 직접 연결된다.