TL;DR
작성자는 Windows PC에서 DeepSeek Harness를 실행하고 LAN으로 연결된 RTX PRO 6000 장비의 NInfer endpoint에서 Qwen3.8-27B를 8시간 넘게 운용했습니다. 966회 모델 호출과 1,421회 로컬 도구 작업을 거치며 131.2M 입력 토큰과 853.3K 출력 토큰을 처리했고 모델 생성 실패는 없었습니다. Decode 속도는 104.83 tok/s였지만 최대 231.2K 토큰의 반복 컨텍스트와 두 에이전트 간 Prefill 경합이 전체 지연의 주요 원인이었습니다. 같은 작업량을 API 정가로 환산하면 서비스에 따라 $18.61에서 $677.32가 들었으며, 작성자는 긴 장기 과업에서 로컬 추론의 비용 효율성을 확인했습니다.
주요 논점
Qwen3.8-27B와 NInfer 조합이 8시간 이상 이어진 장기 과업에서 966회 모델 호출과 1,421회 로컬 도구 작업을 모델 생성 실패 없이 처리했다는 점은 로컬 에이전트 실행의 실용성을 뒷받침합니다. 특히 Decode 속도보다 긴 입력 처리와 Prefill이 병목이라는 측정 결과가 구체적입니다. 로컬 실행은 같은 토큰량을 API로 처리할 때 발생하는 비용과 비교해 경제적 이점도 보였습니다.
API 비용 비교는 입력 캐시 할인과 실제 서비스별 처리 조건을 모두 반영하지 않았으므로 절대적인 비용 우위로 해석하기 어렵습니다. 12.4K와 8.5K prompt tok/s 수치도 queue time과 prefix 재사용 가능성이 섞인 클라이언트 측 값이라 GPU의 순수 처리 성능을 뜻하지 않습니다. 그럼에도 컨텍스트 크기, TTFT, Decode 시간, 도구 오류율을 분리한 측정은 병목을 파악하는 데 유용합니다.
합의점 vs 논쟁점
합의점
- 이 실행에서는 모델이 토큰을 생성하는 Decode보다 반복되는 대규모 입력을 읽는 Prefill과 요청 대기열이 더 큰 부담으로 나타났습니다. 두 에이전트를 하나의 NInfer endpoint에 연결하면서 queueing과 Prefill contention이 늘어났고 subagent의 TTFT 중앙값은 151초까지 올라갔습니다. 긴 컨텍스트 에이전트 시스템에서는 출력 tok/s만으로 전체 체감 성능을 판단하기 어렵습니다.
논쟁점
- API 비용을 로컬 실행과 직접 비교한 계산에는 캐시 할인과 서비스별 가격 조건이 충분히 반영되지 않았습니다. 특히 DeepSeek V4 Flash가 반복 입력을 캐시할 경우 실제 청구액은 제시된 $18.61보다 낮아질 수 있습니다. 반대로 로컬 실행의 전력, 하드웨어, 설정 비용은 이 계산에 포함되지 않았으므로 양쪽 수치를 총비용으로 간주하기는 어렵습니다.
실용적 조언
- 장기 과업을 평가할 때는 Decode 속도와 함께 컨텍스트 크기, TTFT, Prefill 처리량, 동시 요청 수를 별도로 기록하는 편이 좋습니다. 한 endpoint에 여러 에이전트를 연결하면 생성 속도가 충분히 빨라도 대기열과 입력 처리 경합이 전체 시간을 늘릴 수 있습니다. 로컬 도구 계층은 모델 생성 실패와 분리해 호출 유형별 성공률과 실행 시간을 측정해야 합니다.
- 대형 컨텍스트를 반복해서 보내는 작업에서는 자동 압축 횟수와 압축 전후 입력 토큰을 함께 기록해야 합니다. 이 실행처럼 자동 압축이 31회 발생하면 논리적 작업량과 실제 모델 입력량 사이에 차이가 생깁니다. NInfer의 groupwise-int와 NVFP4 profile을 비교할 때도 동일한 과업과 컨텍스트 조건에서 TTFT, Decode 속도, 오류율을 맞춰 측정해야 합니다.
섹션별 상세
용어 해설
- 장기 과업(Long-Horizon Task)
- — 여러 단계의 추론과 도구 호출을 거쳐 장시간 수행하는 작업을 뜻합니다. 이 글에서는 모델이 긴 컨텍스트를 반복해서 읽고 PowerShell, 파일 읽기, 편집, 쓰기, 검색을 수행하며 최종 목표에 도달하는 과정을 가리킵니다. 장기 과업에서는 생성 속도뿐 아니라 컨텍스트 처리량과 도구 실행 안정성이 중요합니다.
- 컨텍스트 윈도(Context Window)
- — 모델이 한 요청에서 처리할 수 있는 입력과 출력 토큰의 최대 범위입니다. Qwen3.8-27B는 262K 컨텍스트 윈도를 사용했고, 실제 실행에서 루트 요청의 중앙값은 136.6K 토큰, p95는 205.9K 토큰까지 커졌습니다. 컨텍스트가 클수록 반복 입력을 처리하는 Prefill 부담이 커집니다.
- 양자화(Quantization)
- — 모델 가중치를 더 적은 비트로 표현해 메모리 사용량과 추론 비용을 줄이는 기법입니다. 이 실행에서는 NInfer의 groupwise-int artifact가 Q4, Q5, Q6를 혼합해 가중치별로 배분했습니다. 작성자는 다음 실험에서 NInfer가 지원하는 NVFP4 profile을 시험할 계획입니다.
- 프리필(Prefill)
- — 모델이 새 요청의 입력 토큰을 먼저 읽고 다음 토큰 생성을 준비하는 처리 단계입니다. 이 실행에서는 약 1억 3,120만 개의 입력 토큰과 반복되는 대형 컨텍스트 때문에 Prefill과 요청 대기열이 주요 부담이 됐습니다. GPU에 요청이 올라간 뒤의 Decode는 빨랐지만 두 에이전트가 동시에 요청하면서 Prefill 경합이 커졌습니다.
- 자동 컨텍스트 압축(Automatic Compaction)
- — 대화나 작업 기록이 길어질 때 이전 내용을 압축해 모델이 계속 처리할 수 있도록 컨텍스트를 줄이는 과정입니다. 실행 중 자동 압축 시도는 31회였고, 압축을 포함하면 입력 토큰은 131.2M에서 집계됐습니다. 압축은 장기 과업을 이어가게 하지만 추가적인 모델 호출과 입력 처리량을 발생시킵니다.
언급된 도구
장기 과업에서 모델 호출과 로컬 Shell 및 파일 도구 작업을 조율하는 Harness
별도 RTX PRO 6000 장비에서 Qwen3.8-27B 추론을 제공한 inference endpoint
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
