LTX-Video 카메라 돌리 LoRA 학습 중 텍스트 인코더 및 토크나이저 오류 문제

실용적 조언

공식 문서에서 지정한 정확한 텍스트 인코더(Gemma 모델)를 사용하고, 토크나이저 라이브러리 버전을 확인해야 한다.

섹션별 상세

사용자는 RunPod H100 인스턴스에서 Lightricks 공식 트레이너를 사용하여 27개의 클립으로 2000 스텝 동안 학습을 진행했다. 학습 과정에서 'The tokenizer you are loading from with an incorrect regex pattern'이라는 경고 메시지가 지속적으로 노출됐다. 이는 토크나이저 설정과 실제 모델 가중치 사이의 불일치를 시사하며, 텍스트 입력이 모델에 올바르게 전달되지 않았음을 의미한다.

학습 결과물인 LoRA는 가중치를 높게 설정하면 화면에 노이즈만 가득 차고, 낮게 설정하면 아무런 움직임 변화가 나타나지 않는 상태이다. 최종 손실값(Loss)이 6.47로 기록됐는데, 이는 비디오 생성 모델의 미세 조정 과정에서 학습이 정상적으로 수렴되지 않았음을 나타내는 지표이다. 일반적으로 성공적인 학습에서는 이보다 훨씬 낮은 손실값을 보이거나 안정적인 하향 곡선을 그려야 한다.

문제의 원인으로 텍스트 인코더의 오설정 가능성이 제기됐다. 사용자는 공식 문서에서 언급된 특정 Gemma 모델 대신 Hugging Face 저장소의 일반 텍스트 인코더 폴더를 사용한 점을 언급하며, 이것이 토크나이저 오류와 학습 실패의 직접적인 원인인지 확인하고자 했다. 특히 google/gemma-3-12b-it-qat-q4_0-unquantized 모델이 공식 트레이너와 호환되는 정확한 모델인지에 대한 의문이 핵심이다.

용어 해설

저순위 적응(LoRA): — Low-Rank Adaptation의 약자로, 거대 모델의 전체 가중치를 수정하는 대신 일부 저순위 행렬만 학습시켜 효율적으로 미세 조정하는 기법이다. 적은 연산 자원으로도 특정 스타일이나 동작을 모델에 이식할 수 있어 개인화 학습에 필수적이다.
텍스트 인코더(Text Encoder): — 텍스트 입력을 모델이 이해할 수 있는 수치적 벡터로 변환하는 컴포넌트이다. 비디오 생성 모델에서는 프롬프트의 의미를 파악하여 영상의 구도나 움직임을 제어하는 기준점을 제공하며, 모델 본체와의 호환성이 매우 중요하다.
토크나이저(Tokenizer): — 자연어를 토큰이라는 최소 단위로 쪼개고 이를 고유한 숫자 ID로 매핑하는 도구이다. 정규식 패턴이 일치하지 않으면 텍스트 해석에 오류가 발생하여 모델이 엉뚱한 정보를 학습하게 되며, 이는 결과물의 품질 저하로 이어진다.
손실 함수(Loss Function): — 학습 과정에서 모델의 예측값과 실제 데이터 사이의 오차를 수치화한 값이다. 학습이 진행됨에 따라 이 값이 안정적으로 감소해야 정상적인 학습으로 간주하며, 값이 너무 높거나 정체되면 설정 오류나 데이터 문제를 의심해야 한다.

언급된 도구

Lightricks Trainer중립

LTX-Video 모델 학습을 위한 공식 트레이닝 스크립트

RunPod추천

H100 등 고성능 GPU 자원을 제공하는 클라우드 컴퓨팅 플랫폼

Hugging Face중립

모델 가중치 및 텍스트 인코더 저장소

언급된 리소스

문서Lightricks/LTX-Video Hugging Face Repository