TL;DR
작성자는 LM Studio에서 vLLM으로 전환한 뒤 RTX 3090마다 추론 엔드포인트를 하나씩 실행해 하나는 chat, 다른 하나는 subagent에 할당했다. 이 구성에서 qwen3.8 reasoning 처리 속도가 143tok/s까지 올라가 사용이 감당할 만해졌고, vLLM이 하드웨어를 더 충분히 활용한다고 평가했다. Waterblocked GPU 온도도 강한 workflow에서 이전 70°C 수준에서 vLLM 전환 후 35°C를 넘지 않았다고 기록했다. 근거로 연결된 Reddit 게시물과 syv-ai의 qwen38-27b-rtx3090 GitHub 저장소를 제시했다.
주요 논점
작성자는 LM Studio보다 vLLM을 사용했을 때 RTX 3090을 chat과 subagent용 엔드포인트로 나눠 운용할 수 있었고, qwen3.8 reasoning 속도와 GPU 온도에서 체감 가능한 개선을 얻었다고 평가했다.
실용적 조언
- 작성자의 구성처럼 여러 GPU를 보유했다면 각 RTX 3090에 vLLM 엔드포인트를 하나씩 실행하고 용도별로 chat과 subagent 요청을 분리할 수 있다. 글에서는 이 배치 뒤 qwen3.8 reasoning 속도가 143tok/s로 올라갔다고 기록했다. 실제 적용 전에는 연결된 Reddit 게시물과 Syv-ai의 GitHub 저장소를 함께 참고해야 한다.
- vLLM 전환 효과를 확인할 때는 생성 속도만 보지 말고 작업 중 GPU 온도도 함께 기록하는 편이 좋다. 이 사례에서는 waterblocked GPU가 강한 workflow에서 이전 70°C까지 올라갔지만 전환 뒤 35°C를 넘지 않았다. 다만 이 수치는 작성자의 하드웨어와 냉각 구성에서 나온 결과이므로 다른 환경의 동일한 결과로 받아들이면 안 된다.
섹션별 상세
이미지 분석
이미지에는 Qwen3.8-27B를 단일 RTX 3090에서 vLLM으로 실행하며 64개 동시 요청에서 약 1,000 tok/s를 기록한다는 저장소 설명이 보인다. 설명에는 int8 tensor-core GEMMs와 fp16 DeltaNet state도 함께 적혀 있어, 작성자가 공유한 저장소가 특정 GPU와 추론 최적화 구성을 전제로 한다는 점을 확인할 수 있다. 저장소 카드에는 6명의 Contributors, 10개의 Issues, 360개의 Stars, 43개의 Forks도 표시돼 있다.
syv-ai/qwen38-27b-rtx3090 GitHub 저장소 카드에 Qwen3.8-27B를 단일 RTX 3090과 vLLM으로 실행하는 구성이 표시돼 있다.
용어 해설
- 추론 엔드포인트(Inference Endpoint)
- — 추론 엔드포인트는 외부 요청을 받아 실행 중인 모델에 입력을 전달하고 생성 결과를 반환하는 접점이다. 이 글에서는 RTX 3090마다 하나씩 배치해 chat과 subagent 요청을 분리하는 서버 단위로 쓰였다. 요청 경로를 나누면 두 작업을 각각 처리할 수 있다.
- 서브에이전트(Subagent)
- — Subagent는 더 큰 작업을 수행하는 시스템에서 특정 역할을 맡아 별도의 추론을 실행하는 구성 요소다. 작성자는 한 RTX 3090 엔드포인트를 chat용으로, 다른 하나를 subagent용으로 배치했다. 이 분리 구성은 글에서 qwen3.8의 reasoning 요청을 처리하는 방식으로 제시됐다.
- 초당 토큰 수(Tokens per second)
- — 초당 토큰 수는 모델이 생성하는 토큰의 처리 속도를 나타내는 지표다. 작성자는 vLLM 전환 뒤 qwen3.8 reasoning 처리 속도가 143tok/s까지 올라갔다고 기록했다. 생성 속도가 높아지면서 reasoning 사용이 감당할 만한 수준이 됐다는 평가로 이어졌다.
- 워터블록(Waterblock)
- — Waterblock은 냉각수가 흐르는 블록을 GPU에 접촉시켜 열을 낮추는 냉각 부품이다. 글에서는 waterblocked GPU의 작업 중 온도가 vLLM 전환 뒤 35°C를 넘지 않았다고 했다. 전환 전에는 강한 workflow에서 70°C까지 올라갔다는 비교가 함께 제시됐다.
언급된 도구
기존에 사용하던 로컬 LLM 실행 도구이며, 작성자는 이후 vLLM으로 전환했다.
RTX 3090마다 추론 엔드포인트를 실행해 chat과 subagent 요청을 처리하는 inference engine이다.
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
