LTX 2 동작 해상도 테스트: 상당한 품질 개선 확인

사용자들은 8스텝만으로 이 정도 품질이 나온다는 점에 긍정적이며, 특히 물리 엔진의 개선에 주목하고 있다. 다만 ComfyUI의 VRAM 관리 방식에 대한 불만이 제기됐다.

• VRAM이 부족한 환경에서는 FP8 distilled 모델과 Q4 Gemma 텍스트 인코더를 사용하여 메모리 사용량을 최적화할 수 있다.
• 동작의 품질을 비교할 때는 복잡한 프롬프트보다는 단순한 동작(예: backflip)을 사용하여 모델 자체의 물리 엔진 성능을 테스트하는 것이 효과적이다.

지식 증류(Distillation)

— 거대 모델(Teacher)의 지식을 작은 모델(Student)로 전이시켜 성능은 유지하면서 크기와 속도를 최적화하는 기법이다. LTX 2의 FP8 distilled 버전은 적은 스텝으로도 고품질 생성을 가능하게 한다.

양자화(Quantization)

— 모델의 가중치를 낮은 정밀도(예: FP32에서 FP8 또는 Q4)로 변환하여 메모리 사용량을 줄이고 연산 속도를 높이는 기술이다. 본문에서는 Gemma 텍스트 인코더를 Q4로 양자화하여 VRAM 부담을 줄였다.

분류기 없는 가이드(CFG (Classifier-Free Guidance))

— 생성 모델이 프롬프트에 얼마나 충실하게 따를지를 조절하는 파라미터이다. 값이 낮을수록 모델의 자율성이 높아지며, 본 테스트에서는 동작 품질 확인을 위해 1.0의 낮은 값을 사용했다.

변이형 오토인코더 디코딩(VAE Decode)

— 잠재 공간(Latent Space)에서 생성된 데이터를 실제 픽셀 형태의 이미지나 비디오로 복원하는 과정이다. 비디오 생성에서는 고해상도 프레임이 많을수록 이 과정에서 상당한 시간과 메모리가 소요된다.

추론(Inference)

— 학습된 AI 모델을 사용하여 실제 데이터를 생성하거나 예측하는 실행 단계이다. 비디오 생성 모델에서는 텍스트 입력부터 최종 영상 출력까지의 전체 연산 과정을 의미한다.