TL;DR

Qwen3-VL-32B Heretic NVFP4는 ethanfel의 INT8-ConvRot 텍스트 인코더를 NVFP4 mixed-precision으로 재양자화한 15.7GB 빌드로, 단일 16GB GPU에서 동작하도록 설계되어 MiniMax-H3 워크플로에 드롭인 교체 가능합니다. 재양자화 과정에서 ConvRot의 Hadamard 기반 회전(unrotate)을 복원한 뒤 NVFP4로 다시 양자화하는 절차를 거쳐야 인코딩 의미가 보존되며, 이를 건너뛰면 입력과 전혀 무관한 출력이 생성될 수 있습니다. 실측으로 6초 분량의 480×864 비디오 생성에서 피크 VRAM 약 9.9GB를 기록했고 원본 INT8-ConvRot 빌드와 시각적으로 동등한 결과를 냈다고 보고되었습니다.

핵심 포인트

• 모델 종류는 재양자화된 텍스트 인코더이며 베이스는 ethanfel/Qwen3-VL-32B-Ultra-Heretic-MiniMax-H3-ComfyUI-INT8-ConvRot입니다. 원본 INT8-ConvRot를 NVFP4 포맷으로 재양자화한 결과물로, 파일 크기는 15.7GB라서 16GB GPU에 적재가 가능합니다. 이로 인해 대형 80GB 카드가 없어도 MiniMax-H3 워크플로에서 실사용이 가능해집니다.
• 사용성 측면에서 Comfy-Org의 공식 NVFP4 인코더와 같은 크기를 가지므로 완전한 드롭인 교체가 가능합니다. README에 안내된 대로 해당 파일을 ComfyUI/models/text_encoders/에 넣고 CLIPLoader(type: minimax)를 지정하면 기존 파이프라인은 변경되지 않습니다. diffusion 모델과 VAE는 Comfy-Org/MiniMax-H3에서 그대로 사용해야 합니다.
• 재양자화 과정의 핵심 기술은 ConvRot(가중치 저장 시 Hadamard 행렬로 회전 저장) 처리를 되돌린 다음 NVFP4로 재양자화한 점입니다. 구체적으로 dequantize된 가중치에 그룹별 Hadamard 행렬을 곱해 회전을 복원한 뒤 NVFP4로 다시 양자화해야 조건부 인코딩이 원래 의미를 유지합니다. 이 과정을 건너뛰면 모델이 정상적으로 로드되더라도 입력 프롬프트와 전혀 상관없는 출력이 생성되는 실패 사례가 발생합니다.
• 혼합 정밀도로 구성되어 일부 레이어(350개의 linear)는 TensorCoreNVFP4Layout(group size 16)로, 큰 임베딩층(model.embed_tokens, 151,936 × 5120 = 778M 파라미터)은 INT8으로 남겨 두었습니다. 임베딩을 NVFP4로 완전 양자화하면 용량 이득이 작고 16GB 카드에서 bake 중 일시적 OOM을 유발할 수 있기 때문에 이 선택을 유지했습니다. ComfyUI가 레이어별 comfy_quant 메타데이터를 읽어 혼합 포맷을 문제없이 로드합니다.

제한사항

벤치마크