단일 RTX 5090에서 TurboQuant를 활용한 Gemma 4 31B 256K 컨텍스트 구동 성공

커뮤니티 반응

대체로 긍정적이며, 새로운 하드웨어인 RTX 5090의 성능과 대규모 컨텍스트 처리 가능성에 대해 높은 관심을 보였다.

주요 논점

01찬성다수

TurboQuant 압축 기술이 품질 손실 없이 VRAM 효율을 극대화하여 로컬 LLM의 한계를 넓혔다.

합의점 vs 논쟁점

합의점

RTX 5090의 32GB VRAM은 KV 캐시 압축 기술과 결합될 때 강력한 시너지를 낸다.
Windows/MSVC 환경에서의 llama.cpp 빌드는 여전히 수동 수정이 필요한 최적화 이슈가 존재한다.

실용적 조언

RTX 5090 사용자는 CMake 빌드 시 -DCMAKE_CUDA_ARCHITECTURES=120a 옵션을 사용하여 MXFP4 기능을 활성화해야 한다.
Gemma 4 모델 구동 시 SWA 레이어가 정상 작동하지 않는다면 llama-model-loader.cpp의 불리언 배열 로딩 로직을 확인해야 한다.

섹션별 상세

TurboQuant 기술을 통해 KV 캐시를 8비트에서 3비트로 압축하여 256K 컨텍스트를 단일 32GB VRAM에 적재했다. PolarQuant와 Hadamard 회전을 결합하여 압축률을 약 4.5배 높였으며 이를 통해 기존에는 불가능했던 대규모 문맥 처리가 가능해졌다. 실제 262K 토큰 실행 시 VRAM 사용량은 27.7GB로 측정되어 약 4.3GB의 여유 공간을 확보했다.

컨텍스트 길이에 따른 프롬프트 처리(Prompt Processing) 속도는 O(n²) 복잡도에 따라 예측 가능한 수준으로 감소했다. 4,096 토큰에서 3,362 t/s였던 속도가 262,144 토큰에서는 899 t/s까지 떨어졌으나 여전히 실용적인 수준을 유지했다. 반면 토큰 생성(Token Generation) 속도는 컨텍스트 길이와 무관하게 61.5 t/s로 일정하게 유지되어 메모리 대역폭이 병목 지점임을 확인했다.

RTX 5090의 높은 전력 소비(575W)로 인해 262K 벤치마크 중 GPU 온도가 80°C에 도달하며 스로틀링이 발생했다. 작성자는 스로틀링이 없었다면 950 t/s 이상의 속도가 가능했을 것으로 추정했다. 이는 Blackwell 아키텍처 기반 GPU의 고성능을 입증하는 동시에 로컬 환경에서의 발열 관리 필요성을 시사한다.

Windows 환경에서 llama.cpp 빌드 시 MSVC의 최적화 버그로 인해 Gemma 4의 하이브리드 어텐션 구조가 깨지는 문제가 발견됐다. std::transform이 GGUF 불리언 배열을 잘못 읽는 문제를 해결하기 위해 수동 uint8_t 루프로 코드를 수정했다. 또한 RTX 5090의 MXFP4 텐서 코어를 활용하기 위해 특정 CUDA 아키텍처 플래그(sm_120a) 설정이 필수적이다.

cpp

// llama-model-loader.cpp
// Replace std::transform with a manual loop to avoid MSVC optimization bug
const bool* src = (const bool*)get_arr_data(arr);
for (size_t i = 0; i < n_elements; ++i) {
    dest[i] = ((const uint8_t*)src)[i] != 0;
}

MSVC 컴파일러가 GGUF 불리언 배열을 잘못 최적화하여 Gemma 4의 SWA 레이어 패턴을 깨뜨리는 문제를 해결하는 코드

용어 해설

KV 캐시 압축(KV Cache Compression): — LLM 추론 과정에서 이전 토큰들의 Key와 Value 정보를 저장하는 메모리 공간을 압축하는 기술이다. VRAM 사용량을 획기적으로 줄여 단일 GPU에서도 더 긴 컨텍스트를 처리할 수 있게 한다.
폴라퀀트(PolarQuant): — 데이터를 극좌표계 기반으로 양자화하여 정밀도를 유지하면서도 비트 수를 줄이는 고성능 압축 기법이다. TurboQuant 프레임워크의 핵심 구성 요소로 사용된다.
마이크로스케일링 4비트 부동소수점(MXFP4): — NVIDIA Blackwell 아키텍처에서 도입된 새로운 4비트 데이터 포맷이다. 텐서 코어 연산 시 정밀도 손실을 최소화하면서 추론 속도를 극대화하는 하드웨어 가속 기능을 제공한다.
슬라이딩 윈도우 어텐션(Sliding Window Attention): — 모든 토큰이 아닌 특정 범위(윈도우) 내의 토큰들만 참조하여 어텐션을 계산하는 방식이다. 계산 복잡도를 줄여 긴 문맥을 효율적으로 처리할 수 있게 돕는다.

언급된 도구

llama.cpp추천

LLM 추론 엔진 및 TurboQuant 포크 버전 실행

Unsloth추천

Gemma 4 31B 양자화 모델 제공

언급된 리소스

논문TurboQuant Paper (arXiv 2504.19874)