TIDE: LLM 추론 시 토큰별 조기 종료를 통한 실행 최적화

섹션별 상세

기존 LLM 추론은 토큰의 난이도와 관계없이 모든 레이어를 통과시켜 불필요한 연산을 발생시킨다. TIDE는 레이어 사이에 소형 라우터를 배치하여 토큰별로 필요한 연산 깊이를 동적으로 결정한다. 이 방식은 모델의 전체 파라미터를 재학습할 필요가 없어 도입이 간편하다.

TIDE는 융합된 CUDA 커널을 사용하여 float32, float16, bfloat16 등 다양한 정밀도를 지원한다. 2,000개의 WikiText 샘플을 활용한 보정 과정은 3분 이내에 완료되며 약 4MB 크기의 라우터 체크포인트를 생성한다. 이러한 효율적인 보정 덕분에 다양한 모델 아키텍처에 빠르게 적용할 수 있다.

NVIDIA A100 환경에서 DeepSeek R1 Distill 8B 모델을 테스트한 결과, 프리필 지연 시간이 7.2% 감소하고 단일 배치 처리량이 6.6% 증가했다. Qwen3 8B 모델에서는 배치 사이즈 8에서 처리량이 8.1% 향상되는 성과를 보였다. 특히 자동 회귀 디코딩 과정에서 98~99%의 토큰이 조기 종료되어 연산 자원을 절감한다.

기술

Python
CUDA
C++
HuggingFace

활용 사례

LLM 추론 지연 시간 단축
모델 처리량 향상

언급된 리소스

논문TIDE: Token-Informed Depth Execution for Per-Token Early Exit in LLM Inference

TIDE: LLM 추론 시 토큰별 조기 종료를 통한 실행 최적화

섹션별 상세

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

작은 모델이 큰 모델을 더 빠르게 만드는 방법, Speculative Decoding

LLM 추론 지연을 줄이는 7가지 방법

Speculative Decoding: 거대 언어 모델 추론 속도 3배 높이는 법

큰 모델을 더 빠르게 만드는 작은 모델, Speculative Decoding