핵심 요약
TiDAR는 특수 설계된 어텐션 마스크를 통해 단일 포워드 패스 내에서 토큰 드래프팅과 검증을 동시에 수행한다. 이를 통해 AR 모델 수준의 품질을 유지하면서도 추론 처리량을 4.7배에서 5.9배까지 극대화한다.
배경
자기회귀(AR) 모델은 품질이 높지만 메모리 대역폭 제한으로 인해 GPU 연산 자원을 충분히 활용하지 못하며, 확산 모델은 빠르지만 품질이 떨어지는 한계가 있다.
대상 독자
LLM 추론 최적화 연구자, 아키텍처 설계자, 고성능 AI 서빙 엔지니어
의미 / 영향
TiDAR는 고품질 텍스트 생성이 필수적인 환경에서 LLM의 고질적인 속도 문제를 해결할 실질적인 방안을 제시한다. 특히 별도의 드래프트 모델 없이도 투기적 디코딩 이상의 성능을 내기 때문에, 실제 프로덕션 환경에서 추론 비용 절감과 사용자 경험 개선에 즉각적인 기여가 가능하다.
챕터별 상세
00:00
자기회귀 모델과 확산 모델의 트레이드오프
자기회귀(AR) 모델은 언어의 인과적 구조와 잘 맞아 품질이 우수하지만, 토큰을 하나씩 생성해야 하므로 메모리 바운드(Memory-bound) 문제가 발생한다. 반면 확산 언어 모델(DLM)은 병렬 생성이 가능해 속도는 빠르지만, 토큰 간의 상호작용을 충분히 고려하지 못해 품질이 저하되는 경향이 있다. 기존의 투기적 디코딩(Speculative Decoding)은 작은 모델을 사용해 초안을 작성하지만 드래프팅 효율이 낮다는 단점이 있다. TiDAR는 이러한 두 방식의 장점을 결합하여 높은 처리량과 고품질을 동시에 달성하고자 한다.
- •AR 모델의 메모리 바운드 문제로 인한 GPU 연산 자원 낭비
- •확산 모델의 병렬성과 품질 저하 간의 상관관계
- •기존 투기적 디코딩의 낮은 드래프팅 효율성
자기회귀 모델은 이전 토큰을 기반으로 다음 토큰을 하나씩 예측하는 방식이며, 확산 모델은 노이즈 상태에서 데이터를 점진적으로 복원하여 병렬로 생성하는 방식이다.
11:10
TiDAR의 핵심 아키텍처: Thinking and Talking
TiDAR는 시퀀스 레벨의 하이브리드 아키텍처로, 확산 모델 방식으로 토큰 초안을 작성(Thinking)하고 자기회귀 방식으로 최종 출력을 샘플링(Talking)한다. 이 모든 과정은 특수하게 설계된 구조적 어텐션 마스크(Structured Attention Masks)를 사용하여 단일 포워드 패스(Single Forward Pass) 내에서 이루어진다. AR 추론 시 발생하는 유휴 GPU 연산 자원을 활용하여 추가적인 시간 소모 없이 드래프팅을 수행하는 구조이다. 이는 별도의 드래프트 모델 없이 단일 모델만으로 작동하므로 서빙 오버헤드가 매우 낮다.
- •확산 모델 기반 드래프팅과 AR 기반 검증의 통합
- •유휴 GPU 연산 밀도를 활용한 효율적 자원 배분
- •단일 모델 구조를 통한 서빙 편의성 확보
26:00
구조적 어텐션 마스크와 단일 포워드 패스 메커니즘
TiDAR의 어텐션 마스크는 이전 단계에서 드래프트된 토큰, 현재 단계의 제안 토큰, 다음 단계를 위한 예비 드래프트 토큰 섹션으로 나뉜다. KV 캐시를 재사용하여 연산 효율을 높이며, 리젝션 샘플링(Rejection Sampling) 기법을 통해 확산 모델이 제안한 토큰이 AR 모델의 확률 분포와 일치하는지 검증한다. 검증된 토큰 수에 따라 다음 단계에서 사용할 드래프트를 동적으로 선택한다. 이 과정에서 확산 모델의 양방향 어텐션과 AR 모델의 인과적 어텐션이 마스크 내에서 조화롭게 작동한다.
- •구조적 어텐션 마스크를 통한 병렬 드래프팅 및 검증
- •리젝션 샘플링을 통한 AR 수준의 품질 보장
- •KV 캐시 재사용 및 동적 드래프트 선택 메커니즘
KV 캐시는 이전 연산 결과를 저장해 중복 계산을 피하는 기술이며, 리젝션 샘플링은 제안된 샘플을 특정 확률 기준에 따라 수용하거나 거부하여 원하는 분포를 맞추는 통계적 기법이다.
40:30
학습 목적 함수 및 하이브리드 최적화
TiDAR의 학습은 AR 손실(Loss)과 확산 손실을 동시에 최적화하는 하이브리드 목적 함수를 사용한다. 블록 단위의 확산(Block Diffusion) 방식을 적용하여 특정 길이의 토큰 묶음을 병렬로 학습시킨다. 1.5B 및 8B 규모의 모델에서 실험한 결과, 기존의 확산 모델인 Dream이나 Llada보다 효율성과 품질 면에서 압도적인 성능을 보였다. 학습 시 AR 모델의 사전 학습된 가중치를 활용하여 지속적인 학습(Continual Pre-training)이 가능하다는 점도 큰 장점이다.
- •AR 및 확산 손실을 결합한 하이브리드 학습 목적 함수
- •블록 단위 확산 방식을 통한 병렬 학습 효율화
- •사전 학습된 AR 모델 가중치 활용 가능성
44:30
실험 결과 및 성능 벤치마크
성능 평가 결과, TiDAR는 AR 모델과의 품질 격차를 완전히 해소하면서도 초당 토큰 생성 속도를 4.71배에서 5.91배까지 향상시켰다. 기존 투기적 디코딩 방식보다 높은 처리량을 기록했으며, 특히 메모리 바운드 상황에서 GPU 연산 자원을 극도로 효율적으로 활용함이 입증됐다. 8B 규모 모델에서도 일관된 성능 향상을 보여 대규모 언어 모델로의 확장성을 증명했다. 이는 고품질 텍스트 생성이 필요한 실시간 서비스 환경에 매우 적합한 결과이다.
- •AR 모델 대비 최대 5.9배의 토큰 생성 속도 향상
- •기존 투기적 디코딩 및 확산 모델 대비 우수한 품질
- •8B 규모 모델에서의 확장성 및 실용성 입증
실무 Takeaway
- AR 모델의 유휴 GPU 연산 자원을 활용하여 추가 비용 없이 드래프팅 성능을 확보할 수 있다.
- 단일 모델 내에서 드래프팅과 검증을 통합함으로써 모델 관리 및 서빙 복잡도를 크게 낮췄다.
- 확산 모델의 병렬성과 AR의 품질을 결합한 하이브리드 구조가 차세대 LLM 아키텍처의 대안이 될 수 있다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료