TL;DR

이 LoRA는 LTX-2.3 22B를 기반으로 reference-to-video 생성에서 참조 인물의 정체성을 보존하기 위해 설계되었으며, 참조 잠재를 프레임-0 RoPE 그리드에 오버랩하고 소스별 multiplicative RoPE phase(TASS-RoPE)를 적용해 참조와 타겟을 명확히 구분한다. 학습 중에는 flow-matching 예측을 픽셀로 디코딩해 ArcFace(w600k_r50) 임베딩과의 코사인 유사도 보조손실을 적용하여 생성 얼굴 임베딩을 참조 쪽으로 끌어당겼고 데이터는 OpenS2V 서브셋과 HuMoSet의 얼굴 근접 참조↔비디오 쌍을 사용했다. 그 결과 프롬프트에 상세한 신원 속성을 포함하고 근접 전면 참조를 제공하면 정체성 보존이 강화되지만 첫 프레임 '붙여넣기' 경향, 프롬프트 의존성, 근접 편향 같은 한계가 있어 trim-first-frame 노드와 상세 프롬프트 작성이 권장된다.

핵심 역량

• 참조 이미지의 얼굴 정체성을 보존하면서 텍스트로 지정된 동작을 수행하는 비디오 시퀀스를 생성할 수 있다. 이 기능은 참조 잠재를 프레임-0 RoPE 그리드에 오버랩하고 소스별 RoPE 위상으로 태깅하여 참조가 생성 과정에서 누수되지 않도록 보장하는 방식으로 동작한다. ArcFace 보조손실을 통해 생성된 얼굴 임베딩을 참조 임베딩 쪽으로 끌어당겨 얼굴 유사성을 강화한다.
• 여러 참조를 입력받아 각 참조를 소스별로 태깅하면 다중 인물 조건의 비디오를 생성할 수 있다. 소스별로 서로 다른 multiplicative RoPE phase를 적용하면 모델이 서로 다른 출처를 구분하고 각 인물의 정체성을 독립적으로 유지한다. 태깅 방식은 위치 정보에 의존하므로 다중 참조 일반화가 자연스럽게 가능하다.
• ComfyUI 워크플로와 BFS Nodes 통합을 통해 사용자 친화적인 노드 기반 파이프라인에서 LoRA를 로드하고 Prompt Enhancer를 연결해 자동으로 참조 속성을 프롬프트에 보강할 수 있다. 워크플로에는 옵션으로 ArcFace 프로젝터가 포함되며 필요에 따라 비활성화해 그래프를 단순화할 수 있다. 기본 동작은 오버랩 참조 잠재와 프롬프트 조합으로 정체성을 유지하는 것이므로 프로젝터의 기여는 보조적이다.

강점

• 오버랩 참조와 TASS-RoPE 소스-페이징 조합은 동일 프레임 그리드에서 참조를 분리·태깅해 정체성 전이 효과를 높였고 ArcFace 보조손실은 생성 얼굴을 참조 임베딩 공간으로 직접 끌어당겨 인식 수준의 유사성 향상에 기여했다. 이러한 구성은 단일 참조로부터 얼굴 특징을 강하게 유지하면서 프롬프트에 따른 행동을 생성하는 실용적 이점을 제공한다. 또한 ComfyUI용 BFS Nodes와 Prompt Enhancer 통합으로 실험적 워크플로에서 재현성과 사용 편의성이 확보되었다.

훈련 방식

기반 모델로 LTX-2.3(22B)을 사용하고 LoRA(rank=128, alpha=128)로 가중치를 적응시켰으며 overlap reference latent와 TASS-RoPE 소스-페이즈를 조건화 메커니즘으로 적용했다. 훈련 신호로는 픽셀 출력 디코딩 후 ArcFace(w600k_r50)를 이용한 코사인 유사도 기반의 정체성 보조손실과 시간적 정체성 일관성 손실을 병행했다. 데이터는 참조 이미지와 대응하는 비디오 쌍(OpenS2V 서브셋 및 HuMoSet)을 사용해 근접 전면 얼굴 중심으로 편향된 샘플로 학습을 진행했다.

알아두면 좋은 것

• 이 LoRA는 LTX-2.3(22B)을 기반으로 rank 128, alpha 128의 LoRA 파라미터 설정을 사용해 훈련되었으며 overlap reference latent와 TASS-RoPE(source_id=2, phase_scale=1.0)로 참조를 주입했다. 훈련 데이터로는 OpenS2V 서브셋과 HuMoSet의 참조 이미지↔비디오 쌍을 사용했고 주로 근접 전면 얼굴 샷에 초점을 맞추었다. 보조 손실로는 ArcFace(w600k_r50)를 사용해 생성 얼굴의 정체성 일관성을 직접 학습 신호로 끌어당겼다.
• 추천 입력은 얼굴 중심의 가깝고 전면으로 잘 노출된 참조 이미지이며 훈련 크롭은 약 460×406의 거의 정사각형 비율이었다. Prompt는 반드시 ref_t2v: 접두어와 함께 장면·행동·프레이밍을 현재진행형으로 상세히 기술하는 것이 정체성 유지에 유리하다. ComfyUI용 Prompt Enhancer는 참조 이미지에서 자동으로 신원 속성을 추출해 프롬프트를 보강하는 기능을 제공한다.
• 제한점으로 첫 프레임이 참조 이미지의 외형을 '붙여넣기'처럼 보일 수 있는 경향이 있으며 이를 완화하기 위해 trim-first-frame 노드 사용을 권장한다. 훈련 데이터 편향 때문에 전신 샷이나 얼굴이 작게 나온 참조 이미지는 정체성 유지가 떨어지는 경향이 있고 ArcFace 점수는 작은 각도나 가려진 얼굴에 대해 신뢰도가 낮을 수 있다. 프롬프트 의존성이 높아 상세한 프롬프트가 없을 경우 정체성 유지가 약해진다.

기술적 특징

• 오버랩 참조 컨디셔닝은 참조 잠재를 프레임-0 RoPE 그리드에 연결해 참조 정보를 직접 시퀀스에 삽입하고, 이와 함께 소스별 multiplicative RoPE phase를 적용해 참조와 타겟을 명확히 구분했다. 이 방식은 참조가 생성 첫 프레임으로 혼동되는 문제를 줄이는 한편 위치 기반 태깅으로 다중 참조 일반화를 가능하게 했다. 결과적으로 동일 그리드에서 참조 결합을 유지하면서도 누수 문제를 완화하는 균형을 확보했다.
• TASS-RoPE(Temporal-Adjacent Spatial-Shifted RoPE)는 소스별로 서로 다른 RoPE 위상을 곱하는 기법으로, 소스 식별자를 phase 계산에 포함해 참조와 타겟 사이의 구분을 수학적으로 강화했다. 위상 계산식은 phase[d] = source_id · phase_scale · θ^(−d/L) 형태로 정의되어 있으며 이 구조는 참조 태깅을 위치적으로 일관되게 보존한다. 포지셔널 태깅 방식은 추가 파라미터 없이 소스 구분을 수행해 효율적이다.
• ArcFace identity loss는 flow-matching으로 예측한 픽셀을 디코딩한 뒤 얼굴을 정렬하고 ArcFace 인코더로 임베딩하여 코사인 유사도 손실을 적용하는 보조 경로를 제공한다. 이 추가 손실은 얼굴 인식 공간에서의 유사성 제약을 모델에 직접 전달해 시각적 정체성 일관성을 강화했다. ArcFace는 평가에도 사용된 동일한 인식 임베딩을 활용해 학습·검증 일관성을 유지했다.
• 모델은 LoRA 방식으로 가중치를 효율적으로 조정해 원본 LTX-2.3 체크포인트의 큰 파라미터를 보존하면서도 identity transfer 성능을 추가하도록 설계되었다. LoRA rank와 alpha 값(rank=128, alpha=128)은 정체성 신호를 효과적으로 캡처하도록 선택되었고 ComfyUI 통합으로 실험 반복이 용이하게 구성되었다. 또한 ArcFace 프로젝터는 옵션으로 제공되어 기본 오버랩 메커니즘이 주 역할을 수행할 때 그래프 복잡도를 낮출 수 있다.

차별점

• 오버랩 참조 + 소스별 RoPE 위상(TASS-RoPE)을 결합해 동일 프레임 그리드에서 참조를 태깅하고 다중 참조를 자연스럽게 지원한다.
• ArcFace 기반의 보조 정체성 손실을 픽셀 디코딩 경로에 직접 연결해 인식 임베딩 공간에서 얼굴 유사성을 학습 신호로 활용한다.
• ComfyUI용 BFS Nodes와 Prompt Enhancer를 포함한 워크플로를 제공해 모델 로드부터 프롬프트 보강까지 실사용 파이프라인을 단순화했다.