NVIDIA, 자기회귀와 확산 모델을 결합한 Nemotron-Labs Diffusion 공개

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

기존의 자기회귀(AR) 방식은 토큰을 순차적으로 생성하여 메모리 대역폭 병목과 지연 시간 문제가 발생한다. Nemotron-Labs Diffusion은 AR과 확산 모델(DLM)을 단일 모델로 통합하여 병렬 생성과 반복 정제 기능을 제공한다. 이 모델은 3B, 8B, 14B 규모로 출시되며, SGLang을 통해 세 가지 추론 모드를 지원한다. 자체 테스트 결과, 8B 모델은 기존 AR 모델 대비 최대 6.4배 높은 TPF 성능을 기록했다.

대상 독자

프로덕션 환경에서 LLM 추론 속도와 비용 최적화가 필요한 개발자

의미 / 영향

이 기술은 AR 모델의 고질적인 메모리 병목 문제를 확산 모델의 병렬 구조로 해결하여 LLM 추론 효율을 획기적으로 높인다. 특히 상업적 이용이 가능한 라이선스로 공개되어 고성능 AI 서비스의 비용 절감과 속도 개선에 기여할 것으로 보인다.

섹션별 상세

AR 방식은 매 토큰 생성 시 전체 모델 가중치를 로드해야 하므로 연산 효율이 낮다. Nemotron-Labs Diffusion은 블록 단위로 토큰을 생성하고 반복적으로 정제하여 GPU 연산 활용도를 극대화한다.

모델은 AR 모드, 확산 모드, 자기 추측(Self-speculation) 모드를 지원한다. 확산 모드는 병렬 생성을 수행하며, 자기 추측 모드는 확산 모델로 초안을 작성하고 AR 모델로 검증하여 정확성을 유지한다.

Nemotron-Labs Diffusion의 세 가지 생성 모드 비교. — DiagramAR 모드, 확산 모드, 자기 추측 모드의 작동 방식을 시각화하여 모델의 유연성을 설명한다.

8B 모델 기준, 자기 추측 모드는 기존 AR 모델 대비 최대 6.4배 높은 TPF(Tokens Per Forward pass)를 달성했다. 이는 하드웨어 효율성을 획기적으로 개선한 결과이다.

Nemotron-Labs Diffusion의 성능 벤치마크 결과. — Chart평균 정확도, 코딩, 수학 분야에서 AR 모델 대비 확산 및 자기 추측 모드의 TPF 성능 향상을 보여준다.

근거

8B 모델은 기존 AR 모델 대비 최대 6.4배 높은 TPF 성능을 기록했다. — Performance Highlights 섹션

SGLang을 통해 배포되며, 설정 변경만으로 세 가지 모드를 전환할 수 있다. 865 tok/s의 처리량을 기록하며 기존 AR 베이스라인 대비 4배 이상의 속도 향상을 보였다.

근거

SGLang을 통해 세 가지 추론 모드를 지원한다. — Deployment and inference through SGLang 섹션

용어 해설

Autoregressive: — 이전 토큰을 기반으로 다음 토큰을 순차적으로 생성하는 LLM의 표준 방식입니다. 구현이 안정적이나, 매 토큰 생성마다 모델 가중치를 로드해야 하므로 메모리 대역폭 병목과 지연 시간이 발생합니다.
Diffusion Language Model: — 노이즈에서 시작해 반복적인 정제 과정을 거쳐 텍스트를 생성하는 모델입니다. 병렬 처리가 가능하여 기존 AR 모델의 순차적 생성 한계를 극복하고 추론 속도를 높일 수 있습니다.
Self-speculation: — 확산 모델로 다수의 후보 토큰을 빠르게 생성(drafting)하고, AR 모델로 이를 검증하는 기법입니다. 속도와 정확성을 동시에 확보할 수 있는 하이브리드 추론 방식입니다.
TPF: — Tokens Per Forward pass의 약자로, 하드웨어 독립적인 토큰 디코딩 효율 지표입니다. 모델의 추론 성능을 비교할 때 사용됩니다.

언급된 리소스

GitHubNemotron-Labs Diffusion model collection on HuggingFace

GitHubTraining recipe and code on GitHub