챕터별 상세
00:45
기존 LLM 추론의 한계와 Diffusion 모델의 문제점
현재 주류인 AR 모델은 토큰을 하나씩 생성하므로 KV cache 활용은 용이하지만 병렬성이 낮아 속도가 제한적이다. 반면 Diffusion LLM(dLLM)은 모든 토큰을 한 번에 예측할 수 있는 잠재력이 있으나, 양방향 Attention 구조로 인해 KV cache를 쓸 수 없어 실제 속도는 AR보다 느렸다. 발표자는 이러한 두 방식의 장점만을 취합하여 실용적인 대안을 마련하고자 한다.
AR은 순차적 생성, Diffusion은 노이즈 제거를 통한 동시 생성이 핵심 차이점이다.
01:35
D2F(Discrete Diffusion Forcing)의 핵심 아키텍처
D2F는 전체 문장을 크기 K인 N개의 블록으로 분할하여 처리한다. 블록 사이에는 AR 방식을 적용해 순차적으로 KV cache를 쌓아 연산 자원을 절약하고, 블록 내부에서는 Diffusion 방식을 적용해 토큰들을 병렬적으로 디코딩한다. 이 하이브리드 구조를 통해 정확도를 유지하면서도 추론 속도를 획기적으로 높였다.
09:45
Asymmetric Distillation을 통한 모델 학습
성능 최적화를 위해 기존의 양방향 Attention dLLM을 Teacher로 사용하는 지식 증류 기법을 도입했다. Teacher는 전체 문맥을 보고 예측하지만, Student인 D2F 모델은 제한된 앞쪽 블록 정보만으로 뒤쪽 블록을 예측하도록 학습된다. KL Divergence 손실 함수를 최소화하는 과정을 통해 Student 모델은 불완전한 정보에서도 Teacher 수준의 예측력을 갖추게 된다.
Asymmetric Distillation은 정보의 비대칭성을 활용해 효율적인 모델을 만드는 기법이다.
13:10
Pipelined Parallel Decoding 알고리즘
D2F의 추론 효율을 극대화하기 위해 활성 블록 윈도우(Sliding Window) 개념을 도입했다. 마지막 블록의 디코딩 진행률이 특정 임계값을 넘으면 즉시 다음 블록을 추가하여 병렬 처리를 이어간다. 이 과정에서 신뢰도가 높은 토큰만 확정하는 보수적 단계와 신뢰도가 낮아도 강제로 선택하는 공격적 단계를 구분하여 속도와 품질의 균형을 맞춘다.
17:06
성능 벤치마크 및 실험 결과
GSM8K와 HumanEval 등 주요 벤치마크에서 LLaMA3-8B 및 Qwen2.5-7B 모델과 비교 실험을 진행했다. D2F는 LLaMA3 대비 약 2.5배 빠른 토큰 생성 속도(TPS)를 기록했으며, 기존 Diffusion 모델인 LLaDA 대비로는 최대 50배 이상의 속도 향상을 보였다. 특히 수학적 추론(GSM8K) 영역에서 속도 향상 대비 성능 하락이 매우 적음을 입증했다.
TPS(Tokens Per Second)는 초당 생성되는 토큰 수로 추론 속도의 핵심 지표이다.
21:06
결론 및 향후 전망
D2F는 Diffusion LLM이 실제 서비스 환경에서 AR 모델을 대체하거나 능가할 수 있음을 보여준 첫 번째 사례이다. AR과 Diffusion의 하이브리드 패러다임을 통해 KV cache 효율성과 병렬성을 동시에 확보했다. 이는 향후 LLM 디코딩 방식이 순차적 방식에서 블록 단위 병렬 방식으로 진화할 것임을 시사한다.
용어 해설
- 자기회귀 모델(Autoregressive Model)
- — 이전 토큰들을 기반으로 다음 토큰을 하나씩 순차적으로 예측하는 모델 구조이다. 현재 대부분의 LLM이 채택하고 있는 방식으로, 생성의 안정성은 높지만 문장이 길어질수록 추론 속도가 선형적으로 느려지는 한계가 있다.
- 디퓨전 언어 모델(Diffusion LLM)
- — 이미지 생성에서 사용되는 확산 모델 원리를 텍스트 생성에 적용한 구조이다. 노이즈가 섞인 상태에서 원래 문장을 복원하는 방식으로 작동하며, 이론적으로 여러 토큰을 동시에 병렬 생성할 수 있어 차세대 고속 추론 모델로 주목받는다.
- 키-값 캐싱(KV Cache)
- — Attention 연산 시 중복 계산을 피하기 위해 이전 단계의 Key와 Value 행렬을 메모리에 저장해두는 최적화 기법이다. 순차적 생성 모델인 AR에서는 필수적이지만, 양방향 Attention을 사용하는 기존 Diffusion 모델에서는 적용하기 어려웠던 기술이다.
- 지식 증류(Distillation)
- — 거대하고 성능이 좋은 교사(Teacher) 모델의 지식을 작고 효율적인 학생(Student) 모델에게 전달하는 학습 기법이다. 이 논문에서는 양방향 예측 능력을 갖춘 모델의 지식을 블록 단위 예측 구조를 가진 D2F 모델에 이식하는 데 사용된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 09.수집 2026. 05. 09.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
