TL;DR

Nemotron-Labs TwoTower는 사전학습된 Nemotron-3-Nano 30B A3B 백본을 기반으로 AR 문맥 타워를 고정하고 trainable diffusion/denoiser 타워를 추가해 블록 단위 mask-diffusion 생성을 수행하는 모델이다. 디노이저는 블록 내 양방향 self-attention과 레이어 정렬 교차어텐션, 문맥 시드된 Mamba-2 상태를 사용해 마스크된 토큰을 반복적으로 복원하며 adaLN-single로 시간 조건화를 적용해 단계별 거동을 조절한다. 기본 운영점(block_size=16, γ=0.8, BF16, 2×H100)에서 집계 품질은 AR 기준의 98.7%를 유지하면서 wall-clock 생성 처리량은 2.42배에 도달해 속도와 품질 사이의 유의미한 트레이드오프를 제공한다. 이 설계는 프롬프트를 한 번만 인코딩해 블록별 반복에서 중복 계산을 줄이며 디노이저만 적응시키는 접근으로 대규모 생성 워크로드에서 처리량 개선을 노리는 응용에 적합하다. 한편 신뢰도 임계값과 블록 크기의 조정은 품질과 속도의 균형을 직접 좌우하므로 사용자는 운영점 튜닝을 통해 요구 성능에 맞춰야 한다.

핵심 포인트

• AR 문맥 타워는 고정한 채로 디노이저 타워만 학습시키는 설계로 문맥 재사용을 통해 반복 생성의 계산 비용을 절감한다.
• 블록 단위 mask-diffusion과 신뢰도 기반 언마스킹(confidence unmasking)을 결합해 반복당 다수 토큰을 확정함으로써 AR 대비 실시간 처리량을 크게 높였다.
• 디노이저의 레이어 정렬 교차어텐션과 문맥 기반 Mamba-2 시딩을 통해 레이어별 중간 표현을 직접 활용하는 점이 일반적인 단일타워 디퓨전 접근과 구별된다.
• 기본 운영점에서 AR 기반 백본의 집계 품질의 98.7%를 유지하면서 전체 생성의 wall-clock 처리량을 2.42배까지 향상한 점이 검증되어 실사용 처리량 이점을 제공한다.

벤치마크

이미지 분석