이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
RTX 5060 Ti 16GB 두 장에서 Qwen3.8 27B NVFP4를 vLLM으로 실행한 구성은 약 118.7K 토큰 프롬프트에서 평균 952.5 tok/s prefill과 67.3 tok/s decode를 기록했습니다. Q6_K와 llama.cpp의 597.9 tok/s prefill, 38.6 tok/s decode보다 빨랐지만, 두 경로의 workload가 완전히 같지는 않았습니다. 68개 품질 테스트에서 NVFP4와 vLLM은 정답 65/68, 형식 64/68을 기록했고 Q6_K와 llama.cpp는 각각 66/68, 68/68을 기록했습니다. 두 구성 모두 장문 문맥 검색은 10/10이었으며, 작성자는 속도가 필요한 기본 endpoint로 NVFP4를, GGUF와 엄격한 형식 작업에는 Q6_K를 선택했습니다.
합의점 vs 논쟁점
합의점
- 두 실행 경로는 장문 문맥 검색에서 모두 10/10을 기록했으며 약 115K 실제 프롬프트 토큰에서도 marker retrieval이 정상적으로 이뤄졌습니다. 이는 두 구성이 긴 입력에서 최소한의 검색 기능을 유지했다는 공통 결과입니다. 다만 속도 비교는 동일한 workload가 아니고 serving stack 전체를 비교한 결과라는 점이 함께 확인됩니다.
- Q6_K와 llama.cpp는 정답률이 약간 높았고 엄격한 출력 형식 준수에서는 NVFP4와 vLLM보다 안정적이었습니다. 반면 NVFP4와 vLLM은 prefill과 decode 처리량에서 더 높은 측정값을 기록했습니다. 실제 선택에서는 정확한 형식이 중요한 작업과 높은 생성 속도가 중요한 작업을 구분해야 합니다.
논쟁점
- 이 결과만으로 NVFP4 자체가 Q6_K보다 품질이 낮다고 단정하기는 어렵습니다. 두 실험은 서로 다른 runtime, KV format, speculative-decoding 경로를 사용한 완전한 serving stack 비교였고 속도 측정의 prompt와 output workload도 동일하지 않았습니다. 따라서 품질과 속도 차이를 양자화 형식 하나의 효과로 분리하려면 추가적인 통제 실험이 필요합니다.
실용적 조언
- RTX 5060 Ti 16GB 두 장에서 Qwen3.8 27B를 실행할 때 높은 처리량이 우선이면 vLLM의 NVFP4 구성을 기본 endpoint로 사용할 수 있습니다. 설정에는 tensor parallel 2, FP8 KV, MTP3, 122,880-token context, one active request slot이 포함됐습니다. JSON처럼 출력 형식 준수가 중요한 작업이나 GGUF 기반 실행이 필요하면 Q6_K와 llama.cpp 경로를 우선하는 편이 실험 결과에 부합합니다.
- vLLM 경로를 적용한 뒤에는 정답 여부만 확인하지 말고 Markdown fence가 붙는지까지 별도로 검사해야 합니다. 이 실험에서는 장문 marker를 정확히 검색하고도 순수 JSON 배열 대신 코드 펜스를 출력한 사례가 네 건 있었습니다. 동일한 seed와 고정된 토큰 예산을 사용한 결정론적 테스트를 구성하면 배포 전 형식 오류를 재현하기 쉽습니다.
섹션별 상세
작성자는 RTX 5060 Ti 16GB 두 장에서 Qwen3.8 27B NVFP4를 vLLM으로 구동하고, tensor parallel 2, FP8 KV, MTP3, 122,880토큰 문맥, 단일 요청 슬롯을 설정했습니다. 약 118.7K 토큰 프롬프트를 사용한 세 번의 스트리밍 생성에서 prefill은 평균 952.5 tok/s, decode는 67.3 tok/s, MTP acceptance는 0.696이었습니다. 같은 시스템에서 Q6_K와 llama.cpp를 사용한 경로는 자체 고문맥 실행에서 prefill 597.9 tok/s와 decode 38.6 tok/s를 기록해 NVFP4와 vLLM 조합이 더 높은 처리량을 보였지만, 입력과 출력 작업이 완전히 같지 않아 속도 수치를 엄밀한 정면 비교로 보기는 어렵습니다.
품질 차이를 확인하기 위해 두 실행 경로를 instruction following, 수학, 논리, 코드, 지식, JSON, privacy, tool call, 장문 문맥 검색을 포함한 68개 테스트에 통과시켰습니다. 사고가 필요한 항목에는 동일한 seed와 8,192토큰 허용량을 적용했고, 다른 모델을 판정자로 쓰지 않고 결정론적 방식으로 채점했습니다. NVFP4와 vLLM은 정답 65/68, 정확한 형식 64/68, 두 조건 모두 충족한 항목 61/68을 기록했고, Q6_K와 llama.cpp는 각각 66/68, 68/68, 66/68을 기록했습니다.
두 경로는 문자 e가 없는 흔한 영어 단어 다섯 개를 요구한 두 프롬프트에서 동일하게 실패했습니다. 여기에 vLLM 경로는 Python 합계 계산 하나를 틀렸고, 나머지 네 실패는 형식 오류였습니다. vLLM은 장문 문맥의 올바른 marker를 검색했지만 요청된 순수 JSON 배열을 Markdown 코드 펜스로 감쌌으며, Q6_K는 68개 항목 모두에서 요구된 형식을 지켰습니다.
장문 문맥 검색만 보면 두 경로가 모두 10/10을 기록했고 실제 프롬프트가 약 115K 토큰에 이른 실행에서도 marker를 올바르게 찾았습니다. 따라서 NVFP4의 품질을 Q6_K와 완전히 분리해 측정한 결과라기보다 서로 다른 runtime, KV format, speculative-decoding 경로를 포함한 전체 serving stack 비교에 가깝습니다. 실제 장비에서 사용할 구성을 고르는 목적에는 이 차이가 중요하며, NVFP4는 처리량을 우선할 때 기본 endpoint가 되고 Q6_K는 GGUF 실행과 엄격한 출력 형식 작업에 남는 구성이 됐습니다.
용어 해설
- NVFP4 양자화(NVFP4)
- — NVFP4는 모델 가중치를 4비트 부동소수점 형식으로 표현하는 양자화 방식입니다. 메모리 사용량과 연산량을 줄여 제한된 GPU에서 큰 모델을 실행하기 위한 방법이지만, Q6_K 같은 더 높은 비트 형식보다 출력 품질이나 형식 준수에 영향을 줄 수 있습니다.
- Q6_K 양자화(Q6_K)
- — Q6_K는 GGUF 계열에서 사용되는 6비트 양자화 형식입니다. NVFP4보다 가중치 표현에 더 많은 비트를 사용하므로 메모리와 속도 측면의 부담은 커질 수 있지만, 이 비교에서는 정답률과 엄격한 출력 형식 준수에서 더 안정적인 결과를 냈습니다.
- Tensor Parallel
- — Tensor Parallel은 하나의 모델 연산을 여러 GPU에 나눠 실행하는 방식입니다. 이 글에서는 RTX 5060 Ti 16GB 두 장에 Qwen3.8 27B를 분산하고 tensor parallel 2를 적용해 단일 시스템에서 NVFP4 모델을 구동했습니다.
- 추측 디코딩(Speculative Decoding)
- — 추측 디코딩은 보조 경로가 다음 토큰을 미리 예측한 뒤 주 모델이 이를 검증해 생성 속도를 높이는 방식입니다. 글의 NVFP4 구성은 MTP3와 0.696의 MTP acceptance를 사용했으며, 두 실행 경로가 서로 다른 speculative-decoding 방식을 포함한다는 비교상의 한계도 있습니다.
- KV Cache
- — KV Cache는 긴 입력을 처리할 때 Attention의 중간 키와 값을 저장해 이미 계산한 토큰을 반복 처리하지 않도록 하는 메모리 구조입니다. 이 실험은 FP8 KV와 약 115K에서 118.7K 토큰에 이르는 긴 문맥을 사용했으며, 두 구성 모두 장문 검색에서 10점 만점을 기록했습니다.
언급된 도구
vLLM추천
Qwen3.8 27B NVFP4를 RTX 5060 Ti 두 장에서 tensor parallel 2로 서빙하고 MTP3 추론을 수행하는 runtime입니다.
llama.cpp추천
Qwen3.8 27B Q6_K 모델을 GGUF 경로로 실행해 고문맥 prefill과 decode 성능 및 출력 품질을 비교하는 runtime입니다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 18.수집 2026. 08. 19.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
