TL;DR

이 모델은 Lightricks LTX-2.3을 기반으로 한 LoRA 확장으로, 여러 정적 레퍼런스를 의사 비디오 시퀀스로 변환해 타깃 비디오 라텐트와 동일한 표현 공간에서 처리하는 방식을 채택했다. 각 참조는 토큰 수준의 시각 메모리로 보존되어 자기어텐션을 통해 타깃 토큰이 필요 속성을 직접 조회할 수 있으며, 이로써 다중 인물 정체성 보존과 참조 간 속성 선택적 결합이 가능해졌다. V2는 V1 대비 정체성 일관성·생성 안정성·장면 논리에서 개선을 보고하고 있으며 ComfyUI용 플러그인과 샘플 워크플로우를 통해 실험을 재현할 수 있다. 다만 플러그인 의존성과 레퍼런스 구성 복잡성, 고속 모션에서는 50 fps 권장과 같은 운영 상 고려사항이 존재한다.

핵심 역량

• 여러 참조 이미지에서 각기 다른 개체의 정체성을 동시 보존할 수 있다. 입력된 참조 이미지는 비디오 라텐트 토큰으로 변환되어 얼굴·의상·소품 같은 세부가 토큰 수준으로 유지되며 생성 중에 참조 토큰이 직접 조회되어 일관된 외형이 유지된다. 이 방식은 서로 다른 이미지에서 온 인물들을 동일한 장면에 자연스럽게 배치하는 데 유리하다.
• 참조 간 속성 선택적 결합을 수행해 얼굴은 A에서, 의상은 B에서 가져오는 식의 교차 선택이 가능하다. 생성 과정에서 타깃 토큰이 참조 토큰을 자기어텐션으로 조회하므로 어느 참조에서 어떤 속성을 취할지 모델이 학습한 패턴에 따라 결정된다. 이 메커니즘은 복수 참조의 정보 충돌을 줄이고 원하는 속성 조합을 만들기 쉽게 한다.
• 텍스트로 기술된 관계와 시간적 흐름을 반영한 장면 구성이 가능하다. 모델은 프롬프트에 서술된 공간적·행동적 관계를 토큰 수준 정보와 결합해 인물의 배치, 상호작용, 시간적 진행을 보다 논리적으로 생성한다. 이로 인해 시작-과정-결과 구조를 가진 짧은 내러티브를 포함한 비디오 구성이 실현된다.

강점

• 아키텍처 변경 없이 참조 정보를 토큰 수준에서 보존하고 자기어텐션으로 직접 호출하도록 함으로써 정체성 드리프트를 줄이는 구조적 이점을 가지고 있다. 이 접근은 외부 융합 모듈을 도입하지 않아 기존 LTX-2.3 파이프라인과 호환성을 유지한다. 결과적으로 동일 플랫폼 환경에서 성능 개선을 상대적으로 쉽게 적용할 수 있다.
• 복수 레퍼런스를 역할별로 분배해 인물·소품·배경 등을 조합하는 유연성을 제공하므로 복잡한 장면 구성에서 강점을 보인다. 각 레퍼런스가 제공하는 정보가 토큰 수준으로 보존되므로 원하는 속성만 선택적으로 결합하는 제어성이 높다. 이로 인해 다중 등장인물과 상호작용이 포함된 시나리오에서 결과 일관성을 확보하는 데 유리하다.

훈련 방식

이 모델은 Lightricks/LTX-2.3을 기반으로 하는 LoRA 형태의 확장으로 개발되었다. 학습 또는 튜닝 과정에서 다중 정적 레퍼런스를 의사 비디오 시퀀스로 변환해 타깃 비디오 라텐트와 동일한 표현 공간에서 통합하도록 설계되었다. 별도의 인코더 분기나 융합 모듈을 추가하지 않고 기존 모델의 자기어텐션 메커니즘을 활용해 참조 정보의 검색과 선택적 결합을 구현했다.

알아두면 좋은 것

• ComfyUI용 ComfyUI-Licon-MSR 플러그인이 필수 플러그인으로 지정되어 있으며 모델 파일에는 실험용 샘플 워크플로우가 포함되어 있다. 사용자는 해당 플러그인을 통해 레퍼런스 변환 및 워크플로우를 즉시 재현할 수 있다. 플러그인 의존성으로 인해 플러그인 설치와 호환성 확인이 전제 조건으로 남는다.
• 지원 가능한 레퍼런스 수는 2장에서 5장 사이로 명시되어 있으며, 레퍼런스 수가 증가할수록 구성 복잡도가 올라간다. 각 레퍼런스는 주체 정체성, 소품, 배경, 로컬 텍스처, 다중 시점 등 서로 보완적인 역할을 수행하도록 설계되었다. 사용자 입력에 따라 서로 다른 레퍼런스가 특정 역할을 갖도록 명확히 기술하는 것이 일관성 확보에 도움이 된다.
• V2는 V1 대비 정체성 보존, 생성 안정성, 장면 논리 측면에서 개선이 이루어졌다고 명시되어 있다. README에서는 프레임 간 외형 일관성 향상, 시각적 아티팩트 및 깜빡임 감소, 동작 및 상호작용 처리 개선을 주요 개선점으로 내세웠다. V1과 V2의 비교용 미디어가 포함되어 있어 시각적 차이를 직접 확인할 수 있다.
• 고속 모션 장면에는 50 fps 권장이 명시되어 있어 프레임 레이트 설정이 결과 품질에 영향을 준다. 복잡한 다중 주체 상호작용의 경우 샘플링을 여러 번 수행해 안정적 결과를 확보하라고 권장하고 있다. 이러한 권고는 시간 해상도와 샘플링 다양성이 생성 안정성에 미치는 영향이 크기 때문임을 시사한다.

기술적 특징

• 정적 레퍼런스 이미지를 의사 비디오 시퀀스로 변환해 비디오 라텐트와 동일한 표현 공간으로 매핑하는 방식이 핵심이다. 이 변환은 참조 이미지를 시간 축 토큰 시퀀스로 전개해 모델의 입력 흐름에 자연스럽게 병합되게 한다. 결과적으로 참조 정보가 외부 조건이 아니라 본문 시퀀스의 일부로 처리되어 자기어텐션 기반의 직접 검색이 가능해졌다.
• 토큰 수준의 레퍼런스 보존을 통해 세부 속성 유지가 가능하도록 설계되었다. 각 참조의 디테일이 라텐트 토큰으로 남아 있기 때문에 얼굴, 의상, 소품 같은 미세 정보가 단일 임베딩으로 압축되는 경우보다 정확히 재현될 가능성이 높다. 이 설계는 다양한 참조 간 속성 충돌을 완화하고 필요한 속성만 선택적으로 가져오는 동작을 지원한다.
• 기존 모델의 self-attention을 그대로 활용해 참조 토큰을 조회하는 메커니즘을 채택해 아키텍처 변경을 최소화했다. 추가적인 인코더 분기나 융합 레이어를 도입하지 않으므로 호환성 및 배포 복잡도가 낮다. 이로 인해 사용자 환경에서 플러그인 설치만으로도 기존 워크플로우에 통합하기가 용이하다.
• 다중 레퍼런스 구성에서 2~5장의 입력을 지원하며 각 레퍼런스에 서로 다른 의미적 역할을 부여하는 정책을 활용한다. 역할 지정을 통해 한 장은 정체성, 다른 한 장은 배경, 또 다른 장은 소품 정보를 제공하도록 설계하면 모델이 참조별로 기능을 분담해 조합하도록 유도할 수 있다. 이러한 분리 방식은 복잡한 합성에서 정보 중복과 충돌을 줄이는 데 도움이 된다.

차별점

• 레퍼런스를 의사 비디오 시퀀스로 변환해 기존 자기어텐션으로 직접 조회하게 함으로써 별도 융합 모듈 없이 다중 레퍼런스 통합을 실현했다.
• 토큰 수준의 시각 메모리 보존을 통해 얼굴·의상·소품 등 미세 속성의 선택적 결합이 가능하도록 설계되었다.
• V1 대비 정체성 일관성, 생성 안정성, 장면 논리 측면에서 개선점을 제시하며 비교용 미디어를 통해 시각 차이를 확인할 수 있다.