TL;DR

ComfyUI용 H3 conditioning encoder(embedding + layers 0–49 + vision tower)와 선택적 generation tail(언어층 50–63·final norm·LM head)을 분리 제공하는 Qwen3‑VL‑32B 파생 패키지로, 기반 모델은 llmfan46/Qwen3‑VL‑32B‑Instruct‑ultra‑uncensored‑heretic이며 BF16 원본과 학습된 row‑wise INT8 ConvRot 양자화(ConvRot group size 256) 버전을 함께 배포합니다. H3 엔코더는 layer 49 직후의 정규화되지 않은 히든을 출력하고 tail은 생성 중에만 임시 로드되어 생성 완료 후 언로드되므로 32GB급 GPU에서 엔코더를 상주시킨 채로 낮은 메모리로 텍스트·비전 생성 파이프라인을 운영할 수 있습니다. 변환은 AdamW AdaRound 기반의 학습적 양자화 워크플로우로 수행되었고 중요한 BF16 텐서는 원본과 바이트 일치 검증을 통과해 양자화 메타데이터 무결성이 확보되어 있습니다.

핵심 포인트

• 이 패키지는 ComfyUI H3 conditioning encoder(embedding + language layers 0–49 + vision tower)와 선택적으로 연결해 쓰는 generation tail(언어층 50–63·final norm·LM head)을 따로 제공해 Qwen3‑VL 32B 기반 생성 파이프라인을 분리하여 운영하게 구성되어 있습니다. H3는 layer 49 직후의 정규화되지 않은 히든 스테이트를 소비하도록 설계되어 tail을 임시로 로드해 생성한 뒤 안전하게 언로드할 수 있습니다.
• 정밀도·포맷별로 BF16 원본과 INT8 ConvRot 양방향 빌드가 제공되며, encoder BF16 원본은 약 47.97 GiB이고 INT8 ConvRot는 약 24.55 GiB로 용량 절감과 실행 가능성을 동시에 노렸습니다. generation tail은 BF16, INT8 ConvRot, NVFP4/AWQ 포맷으로 나뉘며 각각 크기와 런타임 메모리 요구가 크게 다릅니다.
• Quantization 변환은 silveroxides/convert_to_quant 도구에서 AdamW AdaRound 최적화(4000iter, convrot 그룹사이즈 256)를 사용해 수행되었고, 비전 타워는 BF16으로 보존하여 시각 모달리티 품질을 유지했습니다. 보호된 BF16 텐서와 양자화 메타데이터는 바이트 단위로 원본과 일치하도록 검증되어 형식적 무결성이 확보되어 있습니다.

제한사항