이산 확산 모델: 토크나이제이션에서 생성까지의 통합 프레임워크

자동회귀 생성 방식은 시퀀스 길이에 따른 직렬화 병목과 한 번 확정된 토큰을 되돌릴 수 없는 구조적 한계를 갖는다. 이 논문은 이 문제를 해결하는 대안으로서 이산 확산이 병렬적 반복 정제를 통해 전역 문맥과 제약을 동시에 반영할 수 있음을 강조한다. 특히 토크나이제이션이 전방 오염, 역과정의 난이도, 유효성 제약과 직접 결합함을 밝힘으로써 다양한 도메인에서 생성 품질과 제어성을 높이는 실용적 설계 원리를 제공한다.

자동회귀 모델은 토큰을 순차적으로 확정하면서 왼쪽에서 오른쪽으로만 조건화하므로 긴 시퀀스에서 직렬화로 인한 시간 비용이 커지고 한 번 낸 토큰을 전역 문맥으로 재평가할 수 없는 구조적 한계가 존재한다. 반면 이산 확산은 완전히 오염된 상태에서 시작해 여러 단계의 동시적 갱신으로 모든 위치를 반복 정제하며 각 단계에서 전체 상태를 참조하므로 병렬성 확보와 전역 수정이 가능하다. 이 구조적 차이가 장기 의존성, 인필링, 제약 만족과 같은 과제에서 실질적 이점을 만든다. 토크나이제이션은 이산 확산에서 단순한 입력 전처리가 아니라 오염 토폴로지의 근원이 된다. 어휘가 의미적 거리나 코드북 위상을 가지는지 여부가 전방 전이 행렬 Q_t의 설계 가능성을 결정한다. 의미적 거리가 없는 텍스트 서브워드의 경우 흡수 마스크 기반 전이가 안정적이지만, 코드북이 기하학적 근접성을 가지는 미디어 토크나이제이션은 인접 코드 위주의 구조적 치환을 가능하게 하여 중간 단계에서도 의미 정보를 보존할 수 있다. 수학적으로 이산 확산은 각 토큰 차원에서 범주형 마르코프 체인으로 전방 과정을 정의하고 누적 전이행렬 Q_t로 시점 t의 주변분포를 직접 계산한다. 역과정은 전체 시퀀스를 입력으로 받는 신경망이 각 위치에서의 정규화된 범주 분포 π_θ(x_t,t)를 예측하는 방식으로 구현된다. x_0-파라메터화는 보편적으로 사용되며, 때로는 x_{t-1} 직접 예측, 로그 확률 비율, 또는 score/ratio 네트워크로 등가적 재표현이 가능하다. 이 관점의 결과적 변화는 설계·학습·추론의 결정을 서로 얽히게 만든다. 토크나이저 결정은 시퀀스 길이·범주 크기·유효성 검사 비용을 동시에 결정하고, 전이 행렬 구조는 학습 신호의 시점별 분포와 역과제의 난이도를 규정하며, 샘플러 설계는 제약과 가이드 성능을 좌우한다. 따라서 이상적인 시스템 설계는 토크나이저·전이·모델 아키텍처·추론 절차를 공동 최적화하는 쪽으로 이동해야 한다.

논문은 모든 이산 확산 모델을 네 가지 구성요소로 분해한다: 전방 오염 연산자(transition operator), 역과정 파라메터화(denoiser parameterization), 학습 목적(training objective), 샘플러(sampler). 이 분해는 전통적 전이행렬 기반 D3PM, 흡수/마스킹 기반, 구조화된 치환 및 연속시간 CTMC 표현, 그리고 score/ratio 기반 접근을 하나의 설계 공간으로 수렴시킨다. 각 구성요소는 도메인별 토크나이제이션 특성에 따라 다른 인스턴스로 채워진다. 전방 오염은 전이행렬 Q_t로 표기되며 균등 치환, 흡수 마스킹, 코드북 근접치환 같은 세 가지 전형적 패밀리로 나뉜다. 역과정에서는 x_0-파라메터화가 실무에서 널리 쓰이고, 역후보 분포는 앞서 계산한 누적 전이행렬을 이용해 명시적으로 복원할 수 있다. score/ratio 관점은 로그 확률 비율을 학습하는 대안적 파라메터화로서 일부 연속시간 해석과 연결된다. 학습 단계에서는 ELBO 기반 변분목표와 단순화된 노이즈 예측 손실, score/ratio 매칭 손실이 상호 보완적으로 정리된다. 조건형 모델링은 classifier-free guidance를 포함한 확률적 조건 드롭아웃으로 지원되며 추론 단계에서는 조절강도(가이던스), 자신감 기반 재마스킹, 블록·반자율회귀 업데이트, 그리고 증류·캐싱·스킵 같은 가속화 기법이 실용적 선택지로 정리된다.

이 논문은 새로운 단일 실험 결과를 중심으로 보고하지 않고 여러 문헌에서 확인된 경험적 패턴과 진단 결과를 종합적으로 정리했다. 문헌 종합에서 나타난 핵심 관찰은 토크나이저의 구조가 전반적인 생성 품질과 제어성에 결정적 영향을 미치며, 복원 성능이 우수한 토크나이저도 생성 성능에서는 성능 격차(reconstruction-generation gap)를 보일 수 있다는 점이다. 또한 코드북의 기하학적 정렬이 잘 이루어질수록 구조화된 전이 커널이 중간 시점에서 더 유의미한 학습 신호를 제공하여 샘플의 질이 개선되는 경향이 관찰되었다. 아블레이션·감도 분석 관련 보고들은 노이즈 스케줄과 토크나이저 설계의 상호작용이 매우 강하다는 점을 일관되게 보여주었다. 구체적으로 토크나이저-스케줄 조합에 따라 동일한 아키텍처가 서로 다른 시점별 난이도 곡선(denoising loss curve)을 보였고, 일부 토크나이저는 스케줄 민감도가 커 튜닝 비용이 증가했다. 시스템 측면에서는 캐시·증류·병렬화 기법이 반복 정제 방식에서 대기시간과 비용을 낮추는 데 효과적이라는 사례 보고가 누적되어 있다. 최종적으로 논문은 정량적 벤치마크 대신 설계 체크리스트와 진단 표준을 제안하여 연구자와 엔지니어가 새로운 토크나이저·전이·훈련 절차를 평가할 수 있도록 했다. 이와 함께 공개 저장소를 통해 분류·자료·참고문헌을 제공하여 실무 적용의 출발점을 마련했다.

전체 아키텍처는 전방 마르코프 체인으로 정의된 오염 프로세스(q(x_t|x_{t-1}) = Cat(e_{x_{t-1}}^T Q_t))와 역과정을 예측하는 범주형 신경망 π_θ(x_t,t)로 구성된다. 누적 전이행렬 Q̄_t = Q_1 Q_2 ... Q_t는 q(x_t|x_0)를 닫힌형으로 계산하게 하여 학습 시 x_0에서 직접 x_t를 샘플링할 수 있게 한다. 이 구조는 흡수 마스킹, 균등 치환, 코드북 기반 구조적 치환 같은 다양한 Q_t 패밀리를 포괄한다. 핵심 수학적 근거는 이산 범주형 후방 확률의 명시적 재구성이다. x_0-파라메터화에서는 모델이 p_θ(x_0|x_t,t)을 예측하고, 알려진 전방 사후(q(x_{t-1}|x_t,x_0))와 결합해 p_θ(x_{t-1}|x_t)를 복원한다. 연속시간 표현에서는 CTMC(rate matrix R_t)를 도입해 시간 연속성으로 일반화할 수 있으며, score/ratio 기반 접근은 로그 확률 비율 s_θ와의 대응 관계를 이용해 역과정을 재파라메터화한다. 토크나이저-코드북 관점에서는 코드북 임베딩의 기하학이 전이 커널 설계에 직접 영향을 준다. 코드북 근접성에 기반한 전이는 q(x_t|x_{t-1})가 인접 코드로의 높은 전이 확률을 갖게 하여 중간 시점에서의 레이블 예측 난이도를 낮춘다. 반면 서브워드나 바이트 수준의 토크나이저는 의미적 거리 개념이 없으므로 흡수 마스크가 더 견고한 선택이다. 학습과 구현 세부에서는 timestep별 denoising loss L(t)을 모니터링해 노이즈 스케줄과 토크나이저 결합의 민감도를 진단하고, classifier-free guidance·컨디셔닝 드롭아웃, 블록 업데이트·반자율회귀 샘플링, 가속화(증류·캐시·스킵) 기법을 조합해 실용적 처리 시간을 줄이는 것이 권장된다. 또한 대규모 모델에서는 토큰 열 길이와 범주 수의 트레이드오프를 고려해 토크나이저 설계와 모델 규모를 공동 최적화해야 한다.

이 논문은 내러티브 서베이로서 문헌의 인용 그래프를 통해 설계 공간을 정리했지만 모든 응용 사례를 포괄적으로 실험으로 검증하지는 않았다. 제안한 지표들(예: neighborhood consistency, denoising loss 곡선 등)은 실무 적용을 권장하기 위한 진단 도구로 제시되었으나 광범위한 표준화·검증 연구가 필요하다. 따라서 특정 도메인·토크나이저 조합에 대한 성능 예측은 여전히 엔드투엔드 실험에 의존해야 한다.