DSpark 하드웨어 인식 검증 스케줄러와 반자동회귀 병렬 드래프터를 통한 LLM 추론 가속화

왜 중요한가

대형 언어 모델의 실시간 추론은 각 토큰마다 전체 포워드를 요구해 지연과 GPU 활용률 문제를 야기한다. DSpark는 드래프팅과 검증을 분리한 speculative decoding을 확장해 병렬 생성의 처리량 이점을 유지하면서 접미사 일관성을 회복하고, 검증의 시스템 비용을 실시간 부하에 맞춰 조정함으로써 프로덕션 서비스의 상호작용성(interactivity) 한계를 넓혔다. 이 결과는 동일한 집계 처리량에서 사용자당 생성 속도를 크게 향상시키고, 엄격한 SLA 영역에서도 버티는 운영 포인트를 제공했다.

핵심 기여

반자동회귀 드래프터 설계

DSpark는 깊은 병렬 백본에 가벼운 순차적 출력 헤드(마르코프 헤드 또는 RNN 헤드)를 결합해 각 드래프트 위치에 접두사 의존성을 주입했다. 이 구조는 병렬 생성의 O(1) 드래프팅 지연을 유지하면서도 접미사에서의 급격한 수용률 저하를 완화해 전체 accepted length를 증가시켰다. 실험에서 얕은 반자동회귀 드래프터가 더 깊은 단순 병렬 모델보다 더 높은 수용 길이를 달성함이 확인됐다.

신뢰도 예측과 순차적 온도 스케일링

각 드래프트 위치에 대해 조건부 생존 확률을 예측하는 confidence head를 도입해 접두사 단위의 누적 생존 확률을 산출했다. 원시 확률은 과신(overconfidence) 경향이 있어 Sequential Temperature Scaling(STS)를 적용해 누적 확률을 왼쪽에서부터 교정함으로써 기대 수용 길이 추정의 신뢰성을 확보했다. 이 보정은 하드웨어-인식 스케줄러의 기대값 계산에 필수적인 정확한 확률 척도를 제공했다.

하드웨어 인식 Prefix 스케줄러

검증 길이 선정 문제를 전역적인 처리량 최대화 문제로 정식화하고, 각 요청의 누적 생존 확률과 프로파일된 엔진 처리량 SPS(B)를 결합해 최적 검증 예산을 탐색했다. 후보(요청,위치) 쌍을 생존 확률 기준으로 전역 정렬한 뒤 누적적으로 허용해 기대 수용 토큰 수와 SPS 곱을 계산하며 최적 절점을 탐색하는 그리디 절차를 사용했다. 실제 배치에서는 ZOS 및 CUDA 그래프 제약을 고려해 비동기화와 과거 예측 기반 근사를 도입하여 엔진 호환성을 확보했다.

대규모 실서비스 배치 검증

DeepSeek-V4-Flash와 V4-Pro 실환경에 DSpark를 배포해 생산 트래픽에서의 효과를 평가했다. 운영 지점에서 DSpark는 동일 집계 처리량에서 사용자당 토큰 생성 속도를 V4-Flash에서 60%–85%, V4-Pro에서 57%–78% 향상시켰고, 높은 상호작용성 SLA 영역에서 MTP-1이 유지할 수 없던 용량 포인트를 활용 가능하게 했다. 또한 스케줄러가 부하에 따라 자동으로 검증 예산을 축소하면서 전체 처리량 곡선을 안정화했다.

핵심 아이디어 이해하기

대형 언어 모델은 토큰을 한 번에 하나씩 생성하는 전통적 방식에서는 생성 길이에 비례해 전체 연산이 늘어나며, 이는 실시간 서비스에서 지연과 낮은 GPU 이용률로 이어진다. speculative decoding은 가벼운 드래프터가 다수의 후보를 제안하고 타깃 모델이 병렬로 접두사를 검증함으로써 이 지연을 줄이는 원칙을 제공한다. 그러나 완전 병렬 드래프터는 블록 내 토큰들이 서로 조건부로 연결되지 않아 접미사에서 수용률이 급감하는 문제가 존재한다.

방법론

DSpark는 두 축의 해결책을 결합한다. 첫째 축은 반자동회귀 생성으로, 깊은 병렬 백본은 블록 전체의 표현과 기본 로짓을 한 번에 생성하고, 가벼운 순차 헤드는 각 위치에 접두사 의존성에 기반한 전이 바이어스(B_k)를 더해 조건부 확률을 재정의한다. 이 설계는 병렬 단계의 비용을 지배적으로 유지하면서도 순차 단계는 저차원 연산으로 제한해 전체 T_draft를 거의 증가시키지 않는다. 둘째 축은 신뢰도 기반 검증 스케줄링으로, confidence head가 위치별 조건부 생존 확률 c_k를 예측하고 STS로 누적 확률을 보정한 뒤 하드웨어 프로파일 SPS(B)와 결합해 전역적으로 어떤 접두사까지 검증할지 결정한다. 알고리즘은 모든 (요청,위치) 후보를 누적 생존 확률 기준으로 내림차순 정렬하고, 배치 크기를 1씩 확장하며 기대 수용 토큰 수 τ와 SPS(B)의 곱 Θ를 계산해 최대화를 탐색한다. 실서비스에서는 CUDA 그래프와 ZOS 제약 때문에 비동기 근사를 사용하며, 두 단계 전의 confidence 예측을 이용해 동적 truncation 한계를 추정하고 그리디 선정 경로를 따르되 실행 지연을 숨기는 방식으로 구현했다.

주요 결과

오프라인 벤치마크에서 DSpark는 수치적으로 일관된 개선을 보였다. Qwen3-{4B,8B,14B} 타깃 모델에 대해 DSpark는 Eagle3 대비 매크로 평균 accepted length를 각각 30.9%, 26.7%, 30.0% 향상시켰으며 DFlash 대비로도 16.3%–18.4% 범위의 개선을 기록했다. 도메인별로 구조화된 코드·수학 과제에서는 초기 토큰의 수용률이 높아 검증 이득이 크고, 챗처럼 확률 분포가 넓은 작업에서는 confidence 기반의 프루닝으로 불필요한 검증을 줄여 acceptance rate를 크게 끌어올렸다. 실서비스 배포 결과에서는 V4-Flash와 V4-Pro 환경에서 동일 집계 처리량에서 사용자당 생성 속도를 각각 최대 60%–85%와 57%–78%까지 가속했고, 높은 상호작용성 SLA 영역에서 기존 단일토큰 기준 MTP-1이 유지할 수 없던 운영 지점을 DSpark가 안정적으로 지원함이 관측됐다.

기술 상세

전체 아키텍처는 병렬 DFlash 유사 백본과 그 위에 위치하는 순차적 헤드로 구성된다. 백본은 앵커 토큰과 마스크 토큰들을 입력으로 받아 블록 위치별 기본 로짓 U_k와 히든 상태 h_k를 생성하고, 순차 헤드는 이들에 전이 바이어스 B_k을 더해 각 위치의 조건부 확률 p_k(v | x_0, x_{<k})를 소프트맥스 형태로 정확하게 계산한다. 순차 헤드의 구체화로는 저랭크 마르코프 헤드(B=W1 W2 형태, r=256 기본값)와 RNN 헤드(내부 상태 s_k와 게이트 갱신)를 사용해 계산량을 작게 유지하면서 더 긴 접두사 의존성을 포착한다. 신뢰도 헤드는 히든 h_k와 이전 토큰의 마르코프 임베딩 W1[x_{k-1}]를 선형 투영 후 sigmoid로 매핑해 c_k를 출력한다. 교육 손실은 위치 가중치 w_k=exp(-(k-1)/γ)로 가중한 교차엔트로피 ℒ_ce, 총변이 거리 기반 ℒ_tv, 그리고 신뢰도 이진 교차엔트로피 ℒ_conf의 가중 결합으로 구성되며 기본 가중은 α_ce=0.1, α_tv=0.9, α_conf=1.0이다. 실서비스 적용을 위해 SPS(B) 엔진 처리곡선을 프로파일링해 경량 비용 테이블로 저장하고, 스케줄러는 후보 집합을 생존 확률 기준으로 내림차순 정렬해 누적적으로 배치 크기를 늘리며 Θ=τ⋅SPS(B)를 계산해 최적 절점을 찾는다.

한계점

DSpark는 드래프팅 측의 고정 비용이 존재해 본질적으로 드래프터가 제안하는 초기 γ 토큰을 생성하는 계산은 회수할 수 없다. 이로 인해 특히 수용률이 낮은 난해한 질의에서는 드래프팅 비용이 검증 이득을 상쇄할 가능성이 남아 있다. 또한 하드웨어 처리곡선이 비연속적이고 CUDA 그래프 및 ZOS 제약이 존재하므로 실제 배치에서는 두 단계 전 예측을 사용하는 근사와 비동기 처리가 필요하며, 이 근사는 이론적 무손실 보장과 실무 적합성 사이의 절충을 수반한다.

실무 활용

DSpark는 실서비스 환경에 직접 배포 가능한 구성요소들을 포함해 설계되었고, 하드웨어-인식 스케줄러와 비동기 파이프라인으로 운영 제약을 회피했다. 운영에서의 핵심 효과는 낮은 동시성 구간에서는 더 긴 검증 예산으로 수용 토큰을 늘리고, 높은 부하에서는 검증을 축소해 전체 처리량을 안정화하는 것이다. 논문 저자들은 체크포인트와 학습 저장소(DeepSpec)를 공개한다고 명시했으나 저장소 URL은 본문에 제공되지 않았다.

대화형 에이전트 및 실시간 챗 서비스에서 사용자당 토큰 생성 지연을 줄여 응답 상호작용성을 개선하는 데 적용 가능하다.
코드 자동완성이나 수학 문제 풀이처럼 구조화된 요청이 다수인 서비스에서 검증 예산을 늘려 GPU 효율을 높이는 데 활용 가능하다.
대규모 멀티테넌트 서빙 환경에서 SLA 기반의 인터랙티비티 보장을 위해 동적 검증 길이 할당 정책으로 통합 운용할 수 있다.

코드 공개 여부: 공개

키워드

speculative-decoding(사전검증 디코딩)semi-autoregressive(반자동회귀)confidence-scheduled-verification(신뢰도 기반 검증 스케줄링)parallel-drafters(병렬 드래프터)hardware-aware-scheduler(하드웨어 인식 스케줄러)

용어 해설

사전검증 디코딩(Speculative Decoding): — 사전검증 디코딩은 경량 드래프터가 다수의 토큰 후보를 한 번에 제안하고, 전체 규모의 타깃 모델이 병렬로 해당 후보의 접두사를 검증하여 가장 긴 일치 접두사를 받아들이는 방식이다. 이 과정은 드래프팅과 검증을 분리해 전체 생성 지연을 줄이며, 검증 규칙이 타깃 분포를 보존하므로 품질 손실 없이 가속을 달성한다. 본 논문에서는 이 메커니즘의 확장과 실무적 비용 관리를 핵심 문제로 다루었다.
반자동회귀(Semi-Autoregressive): — 반자동회귀 구조는 전체 블록을 병렬 백본으로 빠르게 생성하면서, 각 위치의 일관성을 보장하기 위해 가벼운 순차적 출력 헤드를 덧붙여 내부 토큰 의존성을 주입하는 방식이다. 이 접근은 병렬 드래프터의 초당 토큰 처리량 이점을 유지하면서 접미사 품질 저하를 완화한다. DSpark는 이 구조를 통해 긴 블록에서도 수용 길이(accepted length)를 유의미하게 증가시켰다.
접두사 생존확률(Prefix Survival): — 접두사 생존확률은 드래프터가 제안한 블록에서 특정 위치까지 모든 이전 토큰이 타깃 모델 검증을 통과할 확률의 누적값을 의미한다. 이 확률은 각 위치의 조건부 생존 확률을 곱한 값으로 계산되며, 검증 길이 결정과 기대 수락 토큰 수 추정에 핵심적인 역할을 한다. 논문에서는 이 값을 신뢰도 헤드로 예측하고 후처리 보정을 적용하여 스케줄러 입력으로 사용했다.
신뢰도 기반 검증 스케줄링(Confidence-Scheduled Verification): — 신뢰도 기반 검증 스케줄링은 각 제안 토큰의 조건부 생존 확률을 이용해 요청별로 검증할 접두사 길이를 동적으로 조정하는 정책이다. 시스템 부하와 엔진의 처리곡선을 함께 고려해 검증에 투입할 배치 용량을 결정함으로써 불필요한 검증을 줄이고 전체 처리량을 극대화한다. DSpark는 이 기법을 하드웨어 프로파일과 결합해 실시간으로 검증 예산을 재분배했다.
하드웨어 인식 스케줄러(Hardware-Aware Scheduler): — 하드웨어 인식 스케줄러는 프로파일된 엔진 처리량 곡선(SPS)을 사용해 현재 배치 크기에서의 단계 처리율을 추정하고, 이를 기반으로 검증할 토큰의 우선순위를 전역적으로 결정하는 구성요소이다. 스케줄러는 입찰형 후보 집합을 누적해 기대 수락 토큰 수와 SPS 곡선의 곱을 최대화하는 방식으로 검증 길이를 선택한다. DSpark는 이 스케줄러를 비동기 파이프라인에 통합하여 ZOS와 CUDA 그래프 제약을 회피했다.

DSpark 하드웨어 인식 검증 스케줄러와 반자동회귀 병렬 드래프터를 통한 LLM 추론 가속화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

DSpark로 Qwen3-8B 생성 속도 높이기

서로 다른 어휘로 LLM 추론을 최대 2.8배 가속

DeepSeek V4 Pro 0813 모델의 성능 개선과 DSpark 추론 가속 기술 분석.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

DSpark로 Qwen3-8B 생성 속도 높이기

서로 다른 어휘로 LLM 추론을 최대 2.8배 가속

DeepSeek V4 Pro 0813 모델의 성능 개선과 DSpark 추론 가속 기술 분석.