베이지안 추론에 기반한 다이나믹하게 구조화된 확산 언어 모델 디코딩

diffusion 기반 언어 모형은 병렬 디코딩의 이점을 얻지만 고정 길이 디코딩에 의존한다. 본 연구는 training-free Bayesian 구조적 추론으로 윈도우 확장, 블록 파티션 및 디코딩 순서를 함께 추론하여 길이 유연성과 일관성을 동시에 확보한다. CRP 스타일의 파티션과 컨텍스트 인식 스케줄링으로 분절된 블록 간의 골격을 유지하면서 생성 품질을 향상한다.

단락 1. 고정 길이 디코딩에서 길이가 task의 난이도에 따라 적합하게 조정되지 못하는 문제를 다룬다. 토큰을 병렬로 처리하는 확산 기반 디코더도 각 토큰의 조건부 독립 가정으로 구조적 정보가 손실될 수 있다. 단락 2. DyStruct은 윈도우 확장 크기 Lt, 연속 블록들의 분할 P(t), 그리고 블록 디코딩 순서 τ(t)를 하나의 확률적 구조로 모델링하고, CRP prior를 통해 블록 경계를 유연하게 결정한다. 단락 3. 이를 통해 동적 길이 확장과 블록 구성의 상호 의존성을 추론하여, 긴 텍스트에서도 구조를 유지하고 문맥을 효과적으로 확장한다. 단락 4. 실험적으로 고정 길이/다변 길이 baselines 대비 일관된 품질 향상과 더 나은 코히런스를 보이며, 연산 분포를 필요에 따라 효율적으로 재배치한다.

단계 1: 문제 설정. x(프롬프트)와 y(t−1)으로 현재까지 생성된 시퀀스를 가진 채, 새 윈도우 Lt를 추가하는 구조적 추론 문제로 정의한다. Lt, P(t), τ(t)를 잠재 변수로 삼고 p(Z(t)|O(t), y(t−1), x)를 계산한다. 단계 2: 윈도우 확장과 불안정도 기반 결정. 이전 윈도우의 평균 불안정도 h¯(t−1)에 따라 Lt를 Poisson(µt)로 샘플한다. µt는 Lmin과 Lmax 사이에서 h¯(t−1)로 가중 보정된다. 단계 3: 블록 형성. W(t) 내의 각 위치에 대해 ϕ(t)j로 토큰의 불안정도 h(t)j를 계산하고, g=1..Lt−1 구간의 간극 특징 ψ(t)g를 이용해 경계 확률을 계산한다. α0 기반의 CRP 파라미터 α(t)g로 각 간극에서 블록을 이어갈지 새로 시작할지 결정한다. 단계 4: 디코딩 스케줄링. 각 블록 B의 불안정도 H(B)과 인접 애매도 C(B)을 이용해 Gibbs 분포로 τ(t)를 선택한다. γ는 문맥 인식 가중치다. 단계 5: 경계 해결. 인접 블록 경계에서 로컬 리페어를 수행하는 Edge-Welding으로 분포 정합성을 높인다. 단계 6: 상태 업데이트. 윈도우의 평균 불안정도 h¯(t)를 갱신하고 y(t)와 t를 업데이트한다. 보정 계수 w는 calibration dataset D를 사용해 학습하며, ui=(w⋅ϕi)를 통해 각 토큰의 불안정도 예측 값을 얻고 이를 h(t)j로 변환한다. 수식적 요약: Lt∼Poisson(µt), p(P(t)|Lt, α) via CRP, p(bg|mg, αg) = mg/(mg+αg) 및 αg의 조정, log p(P(t)|O(t), Lt, αg) = Σg [bg log qg + (1−bg) log(1−qg)] + 기타 상수. Edge-Welding은 경계 인접 구간(E(t)m)에서 재마스킹과 재정렬을 수행한다.

주요 벤치마크에서 DyStruct의 성능이 향상된다. LLaDA-8B-Base에서 BBH 정확도는 44.9에서 49.3으로 증가했고, 같은 모델의 MBPP는 39.8에서 41.4로 상승했다. GSM8K에서는 70.3에서 72.1로, MATH에서는 30.5에서 31.4로 상승했다. Dream-7B-Base의 경우 BBH는 51.7에서 52.5로 소폭 증가하고, MBPP는 57.2에서 59.8로 증가했다. HumanEval은 32.3에서 34.8로 상승했다. 효율성 측면에서 GSM8K에서 추론 시간은 Base/DAEDAL 대비 DyStruct가 더 빠르게 작동하며, 2개 백본에서 s/it가 감소한다. 예를 들어 LLaDA-8B-Base: 23.2 → 13.0, Dream-7B-Base: 24.1 → 13.6 (Base, DAEDAL 대비 DyStruct)으로 나타난다. Ablation 연구에서 Block Decoding Schedule 제거 시 MATH에서 성능 저하가 확인되며, Boundary Repair 제거 시 HumanEval에서 약 1.9포인트 하향이 관찰된다. 초기 윈도우 길이 48 토큰에서 BBH 정확도가 최대이며, 256 토큰으로 확장하면 BBH에서 악화될 수 있다. 전체적으로 DyStruct은 파라미터를 추가 학습 없이도 기존 모델을冻结한 상태로 구조적 추론을 통해 성능을 향상시킨다.

본 방법은 파라미터 수정 없이 추론 시점에서만 구조적 추론을 수행한다. 학습 시에 구조적 추론을 통합하면 성능이 더 향상될 수 있으나, 본 연구는 training-free 접근법으로 이를 시도한다.