Aurora: 실시간 추론 데이터를 활용한 온라인 강화학습 기반 추측 디코딩 프레임워크

섹션별 상세

01

기존의 오프라인 학습 기반 추측 디코딩 파이프라인은 트래픽 패턴 변화에 따른 모델 노후화와 막대한 데이터 수집 비용 문제를 안고 있다. 타겟 모델이 업데이트되거나 사용자 도메인이 수학에서 코딩으로 급격히 변할 경우 정적인 드래프트 모델의 토큰 수락률이 급감하며 추론 효율이 떨어진다. Aurora는 이러한 단방향 구조를 순환적인 적응형 구조로 전환하여 실시간 데이터로부터 직접 학습함으로써 성능 저하를 방지한다.

도메인 변화에 따른 정적 드래프트 모델의 성능 저하 그래프 — Chart요청 횟수가 늘어나고 도메인이 바뀜에 따라 정적 드래프트 모델(EAGLE-3)의 초당 토큰 처리량(TPS)이 급격히 떨어지는 현상을 보여준다. 약 7,000번째 요청 부근에서 성능이 크게 하락하며 정적 모델의 한계를 증명한다.

02

Aurora의 핵심 아키텍처는 추론 서버와 학습 서버가 분리되어 비동기적으로 작동하는 'Serve-to-Train' 플라이휠 구조이다. 추론 서버는 SGLang 또는 vLLM 엔진을 통해 토큰을 생성하고, 수락 및 거절된 토큰 정보를 포함한 추론 트레이스를 분산 데이터 버퍼로 스트리밍한다. 학습 서버는 이 버퍼에서 데이터를 가져와 드래프트 모델의 가중치를 업데이트하고, 개선된 가중치를 서비스 중단 없이 추론 서버에 핫스왑 방식으로 전달한다.

Aurora의 5단계 순환 학습-서빙 워크플로우 다이어그램 — Diagram배포(Deploy), 신호 수집(Collect signals), 학습(Train), 가중치 업데이트(Update weights), 핫스왑(Hot-swap)으로 이어지는 Aurora의 순환 구조를 보여준다. 추론 서버에서 발생한 데이터를 비동기적으로 학습하여 다시 서버에 반영하는 'Serve-to-Train' 플라이휠의 작동 원리를 시각화한다.

03

온라인 추측 학습을 비동기 강화학습 문제로 재정의하여 드래프트 모델을 정책으로, 타겟 모델의 검증 결과를 보상으로 활용한다. 수락된 토큰에 대해서는 교차 엔트로피 손실을 통해 모방 학습을 수행하고, 거절된 토큰에 대해서는 'Discard Sampling' 손실을 적용해 부적절한 제안을 피하도록 학습한다. 특히 트리 어텐션 메커니즘을 도입하여 복잡한 분기 구조를 가진 추측 결과를 단일 배치 패스로 효율적으로 처리한다.

04

수학, SQL, 코드 생성 등 5개 도메인이 섞인 40,000개의 프롬프트 스트림 테스트에서 Aurora는 급격한 도메인 변화에도 빠르게 적응하는 성능을 입증했다. 도메인 전환 후 약 10,000개의 요청이 처리되는 동안 수락 길이를 회복하며 정적 모델 대비 우수한 성능을 유지했다. Qwen3-8B 모델 기준, 이미 잘 훈련된 정적 드래프트 모델보다 1.25배 더 높은 추가 속도 향상을 달성하며 온라인 학습의 유효성을 증명했다.

정적 모델과 Aurora의 도메인 적응 성능 비교 그래프 — Chart도메인 변화가 발생했을 때 Aurora(주황색 선)가 정적 모델(회색 선)보다 빠르게 성능을 회복하고 더 높은 TPS를 유지함을 보여준다. 특히 도메인 전환 이후에도 지속적인 학습을 통해 성능 우위를 확보하는 과정을 시각적으로 확인할 수 있다.

용어 해설

추측 디코딩(Speculative Decoding): — 상대적으로 작고 빠른 드래프트 모델이 다음 토큰을 미리 예측하고, 큰 타겟 모델이 이를 한 번에 검증하여 추론 속도를 높이는 기법이다. 타겟 모델의 연산량을 줄이지 않으면서도 병렬 처리를 통해 지연 시간을 단축할 수 있어 대규모 언어 모델 서비스의 핵심 최적화 기술로 꼽힌다.
분포 변화(Distribution Shift): — 학습 데이터의 통계적 특성과 실제 추론 시 입력되는 데이터의 특성이 달라지는 현상을 의미한다. AI 모델이 특정 도메인에 최적화되어 있더라도 사용자 요청의 주제나 형식이 바뀌면 성능이 저하되는 주요 원인이 되며, 추측 디코딩에서는 토큰 수락률을 떨어뜨리는 요인이 된다.
강화학습(Reinforcement Learning): — 에이전트가 환경과 상호작용하며 보상을 최대화하는 방향으로 행동을 학습하는 머신러닝의 한 분야이다. 이 아티클에서는 드래프트 모델을 정책으로, 타겟 모델의 검증 결과를 보상 신호로 간주하여 실시간 추론 데이터를 기반으로 모델을 최적화하는 데 사용된다.
핫스왑(Hot-swap): — 시스템을 중단하거나 재부팅하지 않고 실행 중인 상태에서 구성 요소나 소프트웨어를 교체하는 기술이다. Aurora 프레임워크에서는 온라인 학습을 통해 업데이트된 드래프트 모델의 가중치를 서비스 중단 없이 추론 서버에 즉시 반영하여 지속적인 성능 개선을 가능하게 한다.

기술

Aurora
SGLang
vLLM
Qwen3
Llama3
EAGLE

활용 사례

실시간 도메인 적응형 LLM 추론 서비스
추측 디코딩 드래프트 모델의 자동 최적화
추론 비용 절감을 위한 동적 성능 튜닝

언급된 리소스

GitHubAurora GitHub Repository