이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
작성자는 Threadripper 3975wx 기반 p620과 V620 GPU 4장으로 로컬 LLM 추론을 수행하며 전력과 속도를 측정했습니다. 추론 중 소비전력은 약 0.8~0.85kW, 유휴 전력은 약 0.15~0.2kW였고, 하루 6시간 실행하면 전기료만 월 55~60달러로 계산됐습니다. Qwen3.8-27b-q8은 Prefill 약 1~1.3k와 초당 30토큰, qwen3.6-35b는 Prefill 약 3.5k와 초당 70~80토큰을 기록했습니다. 작성자는 Privacy를 제외하면 이 비용과 속도가 OpenRouter나 ChatGPT 조합보다 매력적인지 의문을 제기하며 태양광으로 전력비를 줄이는 방안을 거론했습니다.
실용적 조언
- 로컬 LLM 서버의 비용을 평가할 때는 GPU 가격만 보지 말고 유휴 전력과 추론 중 소비전력을 전력계로 측정해야 합니다. 하루 사용 시간과 지역별 kWh 단가를 곱해 월간 전기료를 계산한 뒤, 같은 금액의 API나 구독 서비스에서 얻는 처리량과 비교해야 합니다. Privacy가 핵심 요구라면 비용이 더 높더라도 로컬 실행의 가치를 별도로 평가하고, 그렇지 않다면 태양광이나 저전력 하드웨어를 함께 검토할 수 있습니다.
섹션별 상세
작성자는 Threadripper 3975wx 기반 p620과 V620 GPU 4장을 사용해 로컬 LLM 추론 중 전력과 처리량을 측정했습니다. 추론 중 소비전력은 약 0.8~0.85kW, 유휴 상태는 약 0.15~0.2kW였으며, 전기요금은 1kWh당 0.32달러로 계산했습니다. 하루 6시간씩 실행하면 전기료만 한 달 약 55~60달러가 되어, 하드웨어 운영비까지 포함할 때 로컬 추론의 경제성이 낮아진다는 판단으로 이어졌습니다.
Qwen3.8-27b-q8은 해당 시스템에서 Prefill 약 1~1.3k와 초당 30토큰을 기록해 작성자에게 느리게 느껴졌습니다. 작성자는 Qwen3.6-35b로 바꾸면 Prefill 약 3.5k, 초당 70~80토큰을 얻어 체감이 나아진다고 했지만, 매달 60달러 수준의 전기료를 내면서 이 속도를 감수할 이유가 충분한지는 의문으로 남겼습니다. 같은 비용으로 OpenRouter와 ds4f를 이용하거나 ChatGPT 20달러 구독과 OpenRouter 40달러 조합을 선택할 수 있다는 비교가 핵심 근거입니다.
작성자는 로컬 추론이 비용 면에서 항상 무의미하다고 말하지 않았고, Privacy가 필요한 경우에는 별도 가치가 있다고 덧붙였습니다. 다만 이 하드웨어와 전력 단가를 전제로 하면 태양광 발전으로 전기료를 상쇄하는 편이 현실적인 조건이라고 봤습니다. 실제 토큰 처리량은 계산하지 않았으며 모델, 요청 길이, 사고 과정에 따라 변수가 많다는 한계도 밝혔습니다.
용어 해설
- 프리필(Prefill)
- — 모델이 사용자의 입력 프롬프트를 처음 읽고 내부 상태를 계산하는 단계입니다. Prefill 속도는 긴 입력을 처리하는 능력과 관련되며, 초당 처리 토큰 수가 높을수록 응답 생성 전에 걸리는 대기 시간이 줄어듭니다.
- 초당 토큰 처리량(Tokens per second)
- — 언어 모델이 1초 동안 생성하는 토큰 수를 뜻하는 성능 지표입니다. 본문에서는 30ts와 70~80ts처럼 표기됐으며, 값이 높을수록 답변이 더 빠르게 출력됩니다.
- 추론(Inference)
- — 학습이 끝난 모델에 입력을 넣고 답변을 생성하는 실행 과정입니다. 이 과정에서 GPU와 시스템 전체가 소비하는 전력, 처리 속도, 운영 비용을 함께 비교할 수 있습니다.
- Qwen3.8-27b-q8
- — 본문에서 사용한 양자화 언어 모델 표기입니다. 작성자는 이 모델로 추론할 때 Prefill 약 1~1.3k와 초당 30토큰을 얻었고, 긴 사고 과정 때문에 하루 6시간 실행을 가정했습니다.
- qwen3.6-35b
- — 작성자가 비교 대상으로 사용한 또 다른 언어 모델입니다. 같은 시스템에서 Prefill 약 3.5k와 초당 70~80토큰을 기록해 Qwen3.8-27b-q8보다 체감 속도가 나았지만, 비용 비교에서는 여전히 외부 서비스와 경쟁해야 했습니다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 19.수집 2026. 08. 19.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
