LiconStudio/LTX-2.3-Multiple-Subject-Reference
정적 레퍼런스 이미지를 의사 비디오 시퀀스로 변환해 self-attention으로 직접 참조하며 다중 인물·소품·장면 정보를 토큰 수준에서 선택적으로 결합하는 LTX-2.3용 LoRA이다.
학습 방식 · 이 모델은 Lightricks/LTX-2.3을 기반으로 하는 LoRA 형태의 확장으로 개발되었다. 학습 또는 튜닝 과정에서 다중 정적 레퍼런스를 의사 비디오 시퀀스로 변환해 타깃 비디오 라텐트와 동일한 표현 공간에서 통합하도록 설계되었다. 별도의 인코더 분기나 융합 모듈을 추가하지 않고 기존 모델의 자기어텐션 메커니즘을 활용해 참조 정보의 검색과 선택적 결합을 구현했다.
TL;DR
이 모델은 Lightricks LTX-2.3을 기반으로 한 LoRA 확장으로, 여러 정적 레퍼런스를 의사 비디오 시퀀스로 변환해 타깃 비디오 라텐트와 동일한 표현 공간에서 처리하는 방식을 채택했다. 각 참조는 토큰 수준의 시각 메모리로 보존되어 자기어텐션을 통해 타깃 토큰이 필요 속성을 직접 조회할 수 있으며, 이로써 다중 인물 정체성 보존과 참조 간 속성 선택적 결합이 가능해졌다. V2는 V1 대비 정체성 일관성·생성 안정성·장면 논리에서 개선을 보고하고 있으며 ComfyUI용 플러그인과 샘플 워크플로우를 통해 실험을 재현할 수 있다. 다만 플러그인 의존성과 레퍼런스 구성 복잡성, 고속 모션에서는 50 fps 권장과 같은 운영 상 고려사항이 존재한다.
핵심 포인트
- 레퍼런스를 의사 비디오 시퀀스로 변환해 기존 자기어텐션으로 직접 조회하게 함으로써 별도 융합 모듈 없이 다중 레퍼런스 통합을 실현했다.
- 토큰 수준의 시각 메모리 보존을 통해 얼굴·의상·소품 등 미세 속성의 선택적 결합이 가능하도록 설계되었다.
- V1 대비 정체성 일관성, 생성 안정성, 장면 논리 측면에서 개선점을 제시하며 비교용 미디어를 통해 시각 차이를 확인할 수 있다.
- 아키텍처 변경 없이 참조 정보를 토큰 수준에서 보존하고 자기어텐션으로 직접 호출하도록 함으로써 정체성 드리프트를 줄이는 구조적 이점을 가지고 있다. 이 접근은 외부 융합 모듈을 도입하지 않아 기존 LTX-2.3 파이프라인과 호환성을 유지한다. 결과적으로 동일 플랫폼 환경에서 성능 개선을 상대적으로 쉽게 적용할 수 있다.
230
LIKES
26.8k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.