DSpark 하드웨어 인식 검증 스케줄러와 반자동회귀 병렬 드래프터를 통한 LLM 추론 가속화

대형 언어 모델의 실시간 추론은 각 토큰마다 전체 포워드를 요구해 지연과 GPU 활용률 문제를 야기한다. DSpark는 드래프팅과 검증을 분리한 speculative decoding을 확장해 병렬 생성의 처리량 이점을 유지하면서 접미사 일관성을 회복하고, 검증의 시스템 비용을 실시간 부하에 맞춰 조정함으로써 프로덕션 서비스의 상호작용성(interactivity) 한계를 넓혔다. 이 결과는 동일한 집계 처리량에서 사용자당 생성 속도를 크게 향상시키고, 엄격한 SLA 영역에서도 버티는 운영 포인트를 제공했다.

대형 언어 모델은 토큰을 한 번에 하나씩 생성하는 전통적 방식에서는 생성 길이에 비례해 전체 연산이 늘어나며, 이는 실시간 서비스에서 지연과 낮은 GPU 이용률로 이어진다. speculative decoding은 가벼운 드래프터가 다수의 후보를 제안하고 타깃 모델이 병렬로 접두사를 검증함으로써 이 지연을 줄이는 원칙을 제공한다. 그러나 완전 병렬 드래프터는 블록 내 토큰들이 서로 조건부로 연결되지 않아 접미사에서 수용률이 급감하는 문제가 존재한다.

DSpark는 두 축의 해결책을 결합한다. 첫째 축은 반자동회귀 생성으로, 깊은 병렬 백본은 블록 전체의 표현과 기본 로짓을 한 번에 생성하고, 가벼운 순차 헤드는 각 위치에 접두사 의존성에 기반한 전이 바이어스(B_k)를 더해 조건부 확률을 재정의한다. 이 설계는 병렬 단계의 비용을 지배적으로 유지하면서도 순차 단계는 저차원 연산으로 제한해 전체 T_draft를 거의 증가시키지 않는다. 둘째 축은 신뢰도 기반 검증 스케줄링으로, confidence head가 위치별 조건부 생존 확률 c_k를 예측하고 STS로 누적 확률을 보정한 뒤 하드웨어 프로파일 SPS(B)와 결합해 전역적으로 어떤 접두사까지 검증할지 결정한다. 알고리즘은 모든 (요청,위치) 후보를 누적 생존 확률 기준으로 내림차순 정렬하고, 배치 크기를 1씩 확장하며 기대 수용 토큰 수 τ와 SPS(B)의 곱 Θ를 계산해 최대화를 탐색한다. 실서비스에서는 CUDA 그래프와 ZOS 제약 때문에 비동기 근사를 사용하며, 두 단계 전의 confidence 예측을 이용해 동적 truncation 한계를 추정하고 그리디 선정 경로를 따르되 실행 지연을 숨기는 방식으로 구현했다.

오프라인 벤치마크에서 DSpark는 수치적으로 일관된 개선을 보였다. Qwen3-{4B,8B,14B} 타깃 모델에 대해 DSpark는 Eagle3 대비 매크로 평균 accepted length를 각각 30.9%, 26.7%, 30.0% 향상시켰으며 DFlash 대비로도 16.3%–18.4% 범위의 개선을 기록했다. 도메인별로 구조화된 코드·수학 과제에서는 초기 토큰의 수용률이 높아 검증 이득이 크고, 챗처럼 확률 분포가 넓은 작업에서는 confidence 기반의 프루닝으로 불필요한 검증을 줄여 acceptance rate를 크게 끌어올렸다. 실서비스 배포 결과에서는 V4-Flash와 V4-Pro 환경에서 동일 집계 처리량에서 사용자당 생성 속도를 각각 최대 60%–85%와 57%–78%까지 가속했고, 높은 상호작용성 SLA 영역에서 기존 단일토큰 기준 MTP-1이 유지할 수 없던 운영 지점을 DSpark가 안정적으로 지원함이 관측됐다.

전체 아키텍처는 병렬 DFlash 유사 백본과 그 위에 위치하는 순차적 헤드로 구성된다. 백본은 앵커 토큰과 마스크 토큰들을 입력으로 받아 블록 위치별 기본 로짓 U_k와 히든 상태 h_k를 생성하고, 순차 헤드는 이들에 전이 바이어스 B_k을 더해 각 위치의 조건부 확률 p_k(v | x_0, x_{<k})를 소프트맥스 형태로 정확하게 계산한다. 순차 헤드의 구체화로는 저랭크 마르코프 헤드(B=W1 W2 형태, r=256 기본값)와 RNN 헤드(내부 상태 s_k와 게이트 갱신)를 사용해 계산량을 작게 유지하면서 더 긴 접두사 의존성을 포착한다. 신뢰도 헤드는 히든 h_k와 이전 토큰의 마르코프 임베딩 W1[x_{k-1}]를 선형 투영 후 sigmoid로 매핑해 c_k를 출력한다. 교육 손실은 위치 가중치 w_k=exp(-(k-1)/γ)로 가중한 교차엔트로피 ℒ_ce, 총변이 거리 기반 ℒ_tv, 그리고 신뢰도 이진 교차엔트로피 ℒ_conf의 가중 결합으로 구성되며 기본 가중은 α_ce=0.1, α_tv=0.9, α_conf=1.0이다. 실서비스 적용을 위해 SPS(B) 엔진 처리곡선을 프로파일링해 경량 비용 테이블로 저장하고, 스케줄러는 후보 집합을 생존 확률 기준으로 내림차순 정렬해 누적적으로 배치 크기를 늘리며 Θ=τ⋅SPS(B)를 계산해 최적 절점을 찾는다.

DSpark는 드래프팅 측의 고정 비용이 존재해 본질적으로 드래프터가 제안하는 초기 γ 토큰을 생성하는 계산은 회수할 수 없다. 이로 인해 특히 수용률이 낮은 난해한 질의에서는 드래프팅 비용이 검증 이득을 상쇄할 가능성이 남아 있다. 또한 하드웨어 처리곡선이 비연속적이고 CUDA 그래프 및 ZOS 제약이 존재하므로 실제 배치에서는 두 단계 전 예측을 사용하는 근사와 비동기 처리가 필요하며, 이 근사는 이론적 무손실 보장과 실무 적합성 사이의 절충을 수반한다.