이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
작성자는 Club-3090 canonical bench suite로 RTX 3090 2장과 vLLM v0.26.1rc1 조합을 측정해 Narrative에서 Decode TPS 120.1, Code에서 218.3을 기록했습니다. AutoRound INT4와 DFlash2 speculative decoding을 사용했으며, DFlash2는 7개 초안 토큰 중 평균 3.35개를 수용해 47.8%의 수용률을 냈습니다. 카드당 최고 VRAM은 22.3GB였고 메모리 누수는 없었지만, DFlash2가 약 13.5GB를 사용해 컨텍스트 한도는 131k로 기록됐습니다. 작성자는 vLLM이 깨끗하게 부팅되도록 커스텀 변경을 적용했으며 추가 성능 개선 여지가 있다고 밝혔습니다.
실용적 조언
- 비슷한 성능을 재현하려면 같은 Club-3090 bench.sh 조건에서 3회 워밍업과 5회 측정을 분리해야 합니다. Narrative와 Code를 따로 측정하고 Decode TPS, Wall TPS, TTFT를 함께 기록해야 출력 형식에 따른 차이를 비교할 수 있습니다. 원문은 온도 0.6, top_p 0.95, top_k 20을 고정 조건으로 사용했습니다.
- 2장의 RTX 3090으로 구성할 때는 PCIe Gen4 x16/x16, NVLink 없음, 패치된 P2P와 220W·250W 전력 제한을 기준으로 삼을 수 있습니다. vLLM v0.26.1rc1에 AutoRound INT4 group 128과 DFlash2를 결합했고, 작성자는 별도의 vLLM 변경 없이는 깨끗한 부팅이 어려웠다고 기록했습니다. DFlash2가 약 13.5GB를 사용하므로 컨텍스트 한도와 카드별 VRAM을 함께 확인해야 합니다.
섹션별 상세
작성자는 Club-3090 canonical bench suite를 사용해 3회 워밍업과 5회 측정으로 성능을 비교했습니다. 온도 0.6, top_p 0.95, top_k 20 조건에서 Narrative의 Decode TPS는 120.1, Code는 218.3이었고 Wall TPS는 각각 117.7과 204.8이었습니다. TTFT는 168ms와 178ms로 측정돼 생성 속도와 초기 응답 지연을 함께 확인할 수 있는 결과였습니다.
성능 구성은 RTX 3090 2장, vLLM v0.26.1rc1, AutoRound INT4 양자화, DFlash2 draft model의 조합이었습니다. DFlash2는 7개 토큰을 초안으로 생성했고 평균 수용 길이는 3.35, 수용률은 47.8%였습니다. 전력 제한은 220W와 250W로 설정됐으며, 카드당 최고 VRAM 사용량은 22.3GB이고 메모리 누수는 없었습니다.
용어 해설
- 추측 디코딩(Speculative Decoding)
- — 추측 디코딩은 별도의 draft model이 다음 토큰 후보를 먼저 생성하고, 본 모델이 이를 한 번에 검증하는 추론 방식입니다. 이 글에서는 DFlash2가 7개 토큰을 제안하고 평균 3.35개가 수용됐습니다. 토큰 생성 과정의 병렬 검증으로 Decode TPS를 높이는 데 쓰였습니다.
- 첫 토큰 지연 시간(TTFT)
- — TTFT는 요청을 받은 뒤 첫 번째 토큰이 출력될 때까지 걸리는 시간입니다. 전체 생성 속도와 달리 초기 응답성을 측정하는 지표입니다. 벤치마크에서 Narrative는 168ms, Code는 178ms를 기록했습니다.
- AutoRound
- — AutoRound는 모델 가중치를 낮은 비트 수로 양자화하는 도구입니다. 이 구성에서는 group 128 방식의 INT4 양자화를 적용해 GPU 메모리 사용량을 줄였습니다. 2장의 RTX 3090에서 22.3GB씩 사용하는 실행 환경을 구성하는 데 포함됐습니다.
- DFlash2
- — DFlash2는 추측 디코딩에 사용된 draft model입니다. 이 모델은 7개 토큰을 초안으로 만들고, 본 모델이 그중 평균 3.35개를 수용하는 흐름에 참여했습니다. 글에서는 DFlash2가 카드당 약 13.5GB를 사용해 컨텍스트 한도를 131k로 제한한다고 기록했습니다.
언급된 도구
양자화된 모델과 DFlash2 draft model을 2장의 RTX 3090에서 추론하는 실행 엔진입니다.
AutoRound중립
group 128 방식의 INT4 양자화로 모델 실행에 필요한 메모리를 줄이는 도구입니다.
DFlash2중립
추측 디코딩에서 본 모델이 검증할 초안 토큰을 생성하는 draft model입니다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 19.수집 2026. 08. 19.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
