ComfyUI용 Z-Image S3-DiT 가속 노드: Triton 및 INT8 양자화 적용

대체로 긍정적이며 특히 VRAM 절감 효과와 별도의 모델 다운로드가 필요 없다는 점에 대해 높은 관심을 보였다.

• VRAM이 부족한 환경에서 Z-Image S3-DiT 모델을 사용하려면 이 노드를 적용해 메모리 부하를 줄일 수 있다.
• 별도의 quantized 모델을 찾지 말고 기존 BF16 모델에 바로 적용하여 워크플로우를 간소화하라.

Triton

— GPU 커널 작성을 위한 OpenAI의 프로그래밍 언어 및 컴파일러이다. 파이썬과 유사한 구문으로 고성능 GPU 코드를 작성할 수 있게 하여 딥러닝 모델의 특정 연산을 최적화하는 데 필수적이다. CUDA를 직접 다루지 않고도 하드웨어 성능을 최대한 끌어낼 수 있게 돕는다.

INT8 Quantization

— 모델의 가중치와 활성화 값을 16비트 부동소수점에서 8비트 정수로 변환하는 기법이다. 메모리 사용량을 절반으로 줄이고 연산 속도를 높이면서도 모델의 정확도 손실을 최소화하는 것이 핵심이다. 대규모 모델을 일반 소비자용 GPU에서 실행 가능하게 만드는 중요한 최적화 기술이다.

Kernel Fusion

— 여러 개의 개별적인 GPU 연산을 하나의 커널로 결합하여 실행하는 기술이다. 연산 사이의 중간 데이터를 메모리에 썼다 읽는 과정을 생략함으로써 메모리 대역폭 병목을 줄이고 전체 실행 속도를 향상시킨다. 딥러닝 추론 엔진의 성능을 결정짓는 핵심 최적화 요소 중 하나이다.

Hadamard Rotation

— 양자화 과정에서 데이터의 분포를 더 균일하게 만들기 위해 수행하는 수학적 회전 연산이다. 특정 차원에 집중된 큰 값(이상치)을 여러 차원으로 분산시켜 8비트 정수 범위 내에서 정보 손실을 줄이는 역할을 한다. QuaRot과 같은 최신 양자화 알고리즘에서 정밀도를 유지하기 위해 사용된다.

S3-DiT

— Scalable Sparse Self-Attention Diffusion Transformer의 약자로, 효율적인 자가 주의 집중 메커니즘을 사용하는 확산 모델 구조이다. 고해상도 이미지 생성 시 계산 복잡도를 줄이면서도 높은 품질을 유지하도록 설계되었다. 본문에서는 6.15B 파라미터 규모의 모델로 언급되어 최적화의 대상이 되었다.