Dendrite: 트리 구조 추론을 위한 O(1) 포크 지연시간 기반 에이전트 네이티브 추론 엔진

섹션별 상세

기존 추론 엔진은 새로운 추론 가지를 생성할 때 KV 캐시 전체를 복사해야 하므로 컨텍스트 길이에 비례하는 지연시간이 발생했다. Dendrite는 Copy-on-Write(CoW) 의미론을 적용하여 실제 데이터 대신 블록 테이블 포인터만 복사함으로써 포크 지연시간을 O(1)로 구현했다. 4K 컨텍스트 포크 시 vLLM은 50-100ms가 소요되지만 Dendrite는 약 3μs 내에 처리를 완료한다. 이를 통해 수백 개의 추론 경로를 탐색하는 에이전트 시스템의 실시간 응답성을 확보할 수 있다.

rust

use dendrite_core::cache::{PagedKvCache, DEFAULT_PAGE_SIZE};
// ...
let parent = cache.allocate_sequence();
// O(1) fork - shares pages via copy-on-write
let child1 = cache.fork_sequence(parent)?;
let child2 = cache.fork_sequence(parent)?;

Copy-on-Write를 사용하여 부모 시퀀스로부터 O(1) 시간 내에 새로운 추론 가지를 생성하는 예시

Dendrite 엔진이 트리 구조로 추론 경로를 확장하는 과정을 보여주는 데모 애니메이션 — Screenshot여러 추론 가지가 동시에 생성되고 탐색되는 과정을 시각화하여 엔진의 핵심 기능인 트리 구조 추론을 직관적으로 보여준다. 각 노드가 생성될 때 지연 없이 즉각적으로 분기되는 성능적 특성을 확인할 수 있다.

근거

4K 컨텍스트 기준 포크 지연시간이 vLLM의 50-100ms 대비 3μs 수준으로 단축됐다. — Why Dendrite? 섹션의 Scenario 비교 표

메모리 관리 측면에서 트리 구조의 KV 캐시와 참조 횟수 계산 방식을 도입하여 중복 데이터를 최소화했다. PagedAttention 기법을 활용해 16개 토큰 단위의 블록으로 캐시를 관리하며 여러 가지가 동일한 프리픽스를 공유할 때 메모리를 중복 할당하지 않는다. 6개의 가지를 가진 4K 프리픽스 시나리오에서 vLLM이 6GB를 사용하는 반면 Dendrite는 1.1GB만 점유하여 약 80% 이상의 메모리 절감 효과가 나타났다.

고성능 추론을 위해 FlashInfer 커널과 TurboQuant 압축 기술을 통합하여 처리 효율을 높였다. TurboQuant 4비트 압축을 통해 KV 캐시 메모리를 3.88배 줄이면서도 매 호출마다 역양자화를 수행하는 기존 방식과 달리 양자화된 인덱스에서 직접 연산하여 속도 저하를 방지했다. NVIDIA GB10 환경에서 TinyLlama-1.1B 모델 기준 초당 40.8개 토큰의 생성 속도를 기록하며 대규모 컨텍스트에서도 안정적인 성능을 유지한다.

rust

let backend = Arc::new(FlashAttnBackend::new(0)?);
let mut transformer = Transformer::new(config, backend, device.clone())?;
transformer.load_weights(model_path)?;
let mut cache = transformer.create_cache();
let logits = transformer.forward_with_cache(&input, &mut cache).await?;

FlashAttention 백엔드를 사용하여 GPU에서 효율적으로 KV 캐시 기반 추론을 수행하는 예시

근거

TurboQuant를 통해 KV 캐시 메모리를 3.88배 절감하면서도 속도 저하를 방지했다. — TurboQuant Integration 섹션

MCTS 및 빔 서치와 같은 트리 탐색 알고리즘을 엔진 내부에 기본적으로 포함하고 있다. UCT 스코어링과 llguidance를 통한 문법 제약 기능을 결합하여 구조화된 출력을 보장한다. 개발자는 Rust 기반의 API를 통해 복잡한 에이전트 추론 로직을 낮은 수준의 메모리 관리 걱정 없이 구현할 수 있다.

용어 해설

KV 캐시(KV Cache): — LLM 추론 시 이전 토큰들의 Key/Value 벡터를 저장하여 재계산을 방지하는 기술로 메모리 점유율이 높아 효율적 관리가 필수적이다.
쓰기 시 복사(Copy-on-Write): — 데이터 수정 전까지는 원본을 공유하고 수정 시에만 복사본을 만드는 전략으로 Dendrite에서는 KV 캐시 복제 지연시간을 줄이는 데 핵심 역할을 한다.
페이지드 어텐션(PagedAttention): — 가상 메모리 페이징처럼 KV 캐시를 고정 크기 블록으로 나누어 관리하는 기법으로 메모리 단편화를 줄이고 효율적인 공유를 가능하게 한다.
몬테카를로 트리 탐색(MCTS): — 유망한 경로를 선택하고 확장하며 탐색하는 알고리즘으로 Dendrite는 이를 엔진 수준에서 지원하여 에이전트의 의사결정 능력을 높인다.
양자화(Quantization): — 모델 가중치나 활성값을 낮은 비트로 표현해 메모리와 연산량을 줄이는 기법이며 본문에서는 KV 캐시를 4비트로 압축하는 TurboQuant가 포함되어 있다.

기술

Dendrite
vLLM
SGLang
FlashInfer
TurboQuant
Rust
CUDA
Candle
TinyLlama
Qwen3
Mistral

활용 사례

Tree-of-Thought
MCTS
Beam Search
Speculative Decoding
Multi-Agent Systems

언급된 리소스

GitHubDendrite GitHub Repository

use dendrite_core::cache::{PagedKvCache, DEFAULT_PAGE_SIZE}; // ... let parent = cache.allocate_sequence(); // O(1) fork - shares pages via copy-on-write let child1 = cache.fork_sequence(parent)?; let child2 = cache.fork_sequence(parent)?;

let backend = Arc::new(FlashAttnBackend::new(0)?); let mut transformer = Transformer::new(config, backend, device.clone())?; transformer.load_weights(model_path)?; let mut cache = transformer.create_cache(); let logits = transformer.forward_with_cache(&input, &mut cache).await?;

Dendrite: 트리 구조 추론을 위한 O(1) 포크 지연시간 기반 에이전트 네이티브 추론 엔진

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

Dendrite: 트리 구조 추론을 위한 O(1) 포크 지연시간 기반 에이전트 네이티브 추론 엔진

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

A100‑80GB 한 대로 128K 컨텍스트 동시 처리 실험과 KV 캐시 압축 성능

관련 토론

댓글

관련 기사

A100‑80GB 한 대로 128K 컨텍스트 동시 처리 실험과 KV 캐시 압축 성능