주요 기능

• SVDQ 및 Lighting 엔진을 사용하여 확산 모델 추론 속도를 2배~11배 향상한다.
• LoRA 가중치를 모델에 영구적으로 융합하여 추론 시 추가 오버헤드를 제거한다.
• RTX 20/30/40/50 시리즈 및 최신 Blackwell 아키텍처에서 네이티브 FP4 연산을 수행한다.
• 런타임 양자화된 모델을 디스크로 내보내어 재양자화 과정 없이 즉시 로드한다.

어떻게 동작하는가

C++/CUDA 기반의 libquantfunc 라이브러리를 통해 모델을 4비트로 양자화하고, SVDQ와 Lighting 엔진을 사용하여 GPU에서 직접 추론을 실행한다.