LPM 1.0: 비디오 기반 캐릭터 퍼포먼스 모델

기존 비디오 생성 모델은 높은 표현력, 실시간 추론, 장기적 정체성 유지라는 세 가지 조건을 동시에 만족하기 어려웠다. LPM 1.0은 이를 해결하여 대화형 에이전트나 게임 NPC가 사용자와 실시간으로 상호작용하며 일관된 외형을 유지할 수 있는 기술적 토대를 마련했다.

기존 비디오 생성 모델은 주로 텍스트나 단일 이미지에 의존하여 캐릭터를 생성하므로, 시점이 바뀌거나 긴 시간이 흐르면 캐릭터의 세부 특징이 변하는 정체성 표류(Identity Drift) 문제가 발생한다. 또한, 대화 상황에서 상대방의 말을 듣고 반응하는 '듣기 동작'에 대한 학습이 부족하여 상호작용이 부자연스럽다는 한계가 있다.

LPM 1.0은 이를 해결하기 위해 Transformer 기반의 Diffusion 모델에 멀티모달 컨디셔닝을 결합했다. 캐릭터의 외형 정보를 단일 이미지가 아닌 다각도 전신 이미지와 표정 템플릿 세트로 구성하여 Self-Attention 레이어에 직접 주입한다. 이는 모델이 캐릭터의 3D 구조와 세부 표정 변화 범위를 미리 인지한 상태에서 비디오를 생성하게 함으로써 장시간 생성 시에도 정체성을 유지하게 만든다.

결과적으로 모델은 단순히 입 모양을 맞추는 수준을 넘어, 입력된 오디오의 맥락에 맞춰 고개를 끄덕이거나 시선을 처리하는 등 실제 사람과 유사한 반응형 동작을 실시간으로 생성할 수 있게 된다.

Base LPM은 14B 이미지-투-비디오 모델을 기반으로 3B 파라미터의 오디오 교차 주의(Cross-Attention) 블록을 추가하여 총 17B 규모로 설계했다. 전체 구조는 Diffusion Transformer(DiT) 아키텍처를 따르며, 텍스트 설명, 말하기 오디오, 듣기 오디오를 각각의 인코더를 통해 입력받는다.

효율적인 연산을 위해 인터리브드(Interleaved) 오디오 주입 전략을 사용한다. 짝수 레이어에서는 말하기 오디오를, 홀수 레이어에서는 듣기 오디오를 처리하도록 분리하여 파라미터 수를 50% 절감하면서도 각 모달리티의 특성에 맞는 동작 생성을 유도한다. [오디오 특징값 입력] → [레이어별 교차 주의 연산] → [비디오 잠재 벡터 갱신] → [동작과 음성의 동기화] 순으로 계산이 이루어진다.

실시간 배포를 위해 Base LPM을 Online LPM으로 증류(Distillation)한다. 4단계의 커리큘럼 학습을 통해 2-step 추론이 가능한 백본과 1-step 추론이 가능한 리파이너 구조로 변환한다. [가우시안 노이즈 입력] → [백본의 2단계 노이즈 제거] → [리파이너의 1단계 세부 묘사 복원] → [최종 비디오 프레임 출력] 과정을 거쳐 실시간성을 확보한다.

LPM-Bench 평가 결과, Base LPM(720P)은 기존 SOTA 모델인 Kling-Avatar-2 대비 정체성 일관성에서 58.5%, 텍스트 제어력에서 55.7%의 선호도를 얻으며 압도적인 성능을 보였다. 특히 10분 이상의 장기 비디오 생성에서도 시각적 품질 저하 없이 안정적인 생성이 가능함을 입증했다.

Online LPM(480P)은 실시간 추론 환경에서 LiveAvatar 및 SoulX와 비교되었으며, 동작 역동성(Motion Dynamics) 측면에서 98.1%라는 매우 높은 선호도를 기록했다. 이는 증류 과정을 거쳤음에도 불구하고 원본 모델의 풍부한 표현력을 성공적으로 유지했음을 의미한다.

정량적 지표에서 Online LPM은 단일 GPU 기준 프레임당 약 0.35초의 지연 시간을 달성하여 24fps 스트리밍 환경에 적합한 실시간 성능을 확보했다.

LPM 1.0은 Flow Matching 기반의 다단계 학습 전략을 채택했다. 초기에는 말하기 오디오 경로를 먼저 학습시킨 후, 점진적으로 듣기 오디오와 텍스트 조건을 결합하여 멀티모달 정렬을 수행한다. 정체성 유지를 위해 3D Rotary Position Embedding(RoPE) 공간에 참조 이미지 토큰을 특정 오프셋으로 배치하여 비디오 토큰과 함께 Self-Attention을 수행하도록 설계했다.

Online LPM의 증류에는 Distribution Matching Distillation(DMD) 프레임워크를 사용했다. 특히 노이즈가 섞인 이력(Noisy-history) KV 캐시를 조건으로 사용하는 온-폴리시(On-policy) 학습을 통해 자기 회귀적 생성 과정에서 발생하는 오류 누적 문제를 완화했다. 추론 시에는 슬라이딩 윈도우 디코딩과 싱크 토큰(Sink Token) 전략을 결합하여 메모리 사용량을 제한하면서도 무한한 길이의 비디오 생성을 지원한다.

현재 모델은 단일 캐릭터의 정면 응시 상황에 최적화되어 있어, 복잡한 사회적 상호작용이나 다자간 대화, 강한 3D 일관성이 요구되는 복잡한 환경에서의 동작은 아직 제한적이다. 또한 장기적인 대화 문맥을 기억하는 메모리 구조는 포함되어 있지 않다.