베이지안 추론에 기반한 다이나믹하게 구조화된 확산 언어 모델 디코딩

diffusion 기반 언어 모형은 병렬 디코딩의 이점을 얻지만 고정 길이 디코딩에 의존한다. 본 연구는 training-free Bayesian 구조적 추론으로 윈도우 확장, 블록 파티션 및 디코딩 순서를 함께 추론하여 길이 유연성과 일관성을 동시에 확보한다. CRP 스타일의 파티션과 컨텍스트 인식 스케줄링으로 분절된 블록 간의 골격을 유지하면서 생성 품질을 향상한다.

왜 중요한가

핵심 기여

Training-free Bayesian framework for dynamic structured decoding

Diffusion LMs에서 새로운 윈도우 크기 Lt, 블록 분할 P(t), 디코딩 순서 τ(t)를 공동 추론하는 구조화된 디코딩 프레임워크를 제시한다. CRP prior를 사용해 블록 경계를 가이드하고, 모델 파라미터를 수정하지 않고도 동적 길이 확장을 가능하게 한다.

Efficient posterior inference for dynamic structure

Lt, P(t), τ(t)를 추정하는 효율적 후방 추론 알고리즘을 개발한다. 윈도우 확장은 이전 윈도우의 불안정도(mean instability)와 진단 피드백에 의해 조절되며, CRP 기반의 블록 partition과 context-aware schedule이 함께 동작한다.

Comprehensive evaluation across multiple benchmarks

BBH, GSM8K, MATH, MBPP, HumanEval 등 다수 벤치마크에서 DyStruct의 유연 길이 생성 및 코헤런스 향상을 보인다. LLaDA-8B-Base에서 BBH 정확도가 44.9에서 49.3으로 상승하고, Dream-7B-Base에서 51.7에서 52.5로 개선되는 등 전체적으로 성능이 증가한다.

핵심 아이디어 이해하기

단락 1. 고정 길이 디코딩에서 길이가 task의 난이도에 따라 적합하게 조정되지 못하는 문제를 다룬다. 토큰을 병렬로 처리하는 확산 기반 디코더도 각 토큰의 조건부 독립 가정으로 구조적 정보가 손실될 수 있다. 단락 2. DyStruct은 윈도우 확장 크기 Lt, 연속 블록들의 분할 P(t), 그리고 블록 디코딩 순서 τ(t)를 하나의 확률적 구조로 모델링하고, CRP prior를 통해 블록 경계를 유연하게 결정한다. 단락 3. 이를 통해 동적 길이 확장과 블록 구성의 상호 의존성을 추론하여, 긴 텍스트에서도 구조를 유지하고 문맥을 효과적으로 확장한다. 단락 4. 실험적으로 고정 길이/다변 길이 baselines 대비 일관된 품질 향상과 더 나은 코히런스를 보이며, 연산 분포를 필요에 따라 효율적으로 재배치한다.

방법론

단계 1: 문제 설정. x(프롬프트)와 y(t−1)으로 현재까지 생성된 시퀀스를 가진 채, 새 윈도우 Lt를 추가하는 구조적 추론 문제로 정의한다. Lt, P(t), τ(t)를 잠재 변수로 삼고 p(Z(t)|O(t), y(t−1), x)를 계산한다. 단계 2: 윈도우 확장과 불안정도 기반 결정. 이전 윈도우의 평균 불안정도 h¯(t−1)에 따라 Lt를 Poisson(µt)로 샘플한다. µt는 Lmin과 Lmax 사이에서 h¯(t−1)로 가중 보정된다. 단계 3: 블록 형성. W(t) 내의 각 위치에 대해 ϕ(t)j로 토큰의 불안정도 h(t)j를 계산하고, g=1..Lt−1 구간의 간극 특징 ψ(t)g를 이용해 경계 확률을 계산한다. α0 기반의 CRP 파라미터 α(t)g로 각 간극에서 블록을 이어갈지 새로 시작할지 결정한다. 단계 4: 디코딩 스케줄링. 각 블록 B의 불안정도 H(B)과 인접 애매도 C(B)을 이용해 Gibbs 분포로 τ(t)를 선택한다. γ는 문맥 인식 가중치다. 단계 5: 경계 해결. 인접 블록 경계에서 로컬 리페어를 수행하는 Edge-Welding으로 분포 정합성을 높인다. 단계 6: 상태 업데이트. 윈도우의 평균 불안정도 h¯(t)를 갱신하고 y(t)와 t를 업데이트한다. 보정 계수 w는 calibration dataset D를 사용해 학습하며, ui=(w⋅ϕi)를 통해 각 토큰의 불안정도 예측 값을 얻고 이를 h(t)j로 변환한다. 수식적 요약: Lt∼Poisson(µt), p(P(t)|Lt, α) via CRP, p(bg|mg, αg) = mg/(mg+αg) 및 αg의 조정, log p(P(t)|O(t), Lt, αg) = Σg [bg log qg + (1−bg) log(1−qg)] + 기타 상수. Edge-Welding은 경계 인접 구간(E(t)m)에서 재마스킹과 재정렬을 수행한다.

주요 결과

주요 벤치마크에서 DyStruct의 성능이 향상된다. LLaDA-8B-Base에서 BBH 정확도는 44.9에서 49.3으로 증가했고, 같은 모델의 MBPP는 39.8에서 41.4로 상승했다. GSM8K에서는 70.3에서 72.1로, MATH에서는 30.5에서 31.4로 상승했다. Dream-7B-Base의 경우 BBH는 51.7에서 52.5로 소폭 증가하고, MBPP는 57.2에서 59.8로 증가했다. HumanEval은 32.3에서 34.8로 상승했다. 효율성 측면에서 GSM8K에서 추론 시간은 Base/DAEDAL 대비 DyStruct가 더 빠르게 작동하며, 2개 백본에서 s/it가 감소한다. 예를 들어 LLaDA-8B-Base: 23.2 → 13.0, Dream-7B-Base: 24.1 → 13.6 (Base, DAEDAL 대비 DyStruct)으로 나타난다. Ablation 연구에서 Block Decoding Schedule 제거 시 MATH에서 성능 저하가 확인되며, Boundary Repair 제거 시 HumanEval에서 약 1.9포인트 하향이 관찰된다. 초기 윈도우 길이 48 토큰에서 BBH 정확도가 최대이며, 256 토큰으로 확장하면 BBH에서 악화될 수 있다. 전체적으로 DyStruct은 파라미터를 추가 학습 없이도 기존 모델을冻结한 상태로 구조적 추론을 통해 성능을 향상시킨다.

한계점

본 방법은 파라미터 수정 없이 추론 시점에서만 구조적 추론을 수행한다. 학습 시에 구조적 추론을 통합하면 성능이 더 향상될 수 있으나, 본 연구는 training-free 접근법으로 이를 시도한다.

실무 활용

DyStruct은 inference-time에만 구조적 추론을 수행하여 출력 길이의 유연성과 문맥 일관성을 높인다. 다양한 태스크에서 고정 길이 디코딩보다 더 나은 품질과 coherence를 제공하며, 모델 파라미터를 수정하지 않고 적용 가능하다.

장문 대화나 코드 생성과 같이 길이가 가변적인 출력이 필요한 시나리오에서 품질과 일관성을 개선
다단계 논리 추론(BBH, MATH)과 같은 복잡한 문제해결 태스크에서 효율적 자원 분배
코드 생성에서 안정적인 구문 구조를 유지하면서 내부 로직을 해석적으로 디코딩

코드 공개 여부: 비공개

키워드

Diffusion Language ModelsBayesian InferenceCRPdynamic-length generationstructured decodingblock partitionedge-weldinginference efficiency

용어 해설

중국 식당 프로세스(Chinese Restaurant Process): — CRP는 비모수적 확률 모델로, 인접 위치가 기존 블록에 남을지 새로운 블록을 시작할지를 확률적으로 결정하는 분할 규칙이다. 토큰-블록 간 경계의 확률적 판단에 사용되어 블록의 수를 미리 정하지 않아도 콘텐츠의 자율적 구조화를 가능하게 한다.
Edge-Welding: — Edge-Welding은 인접 블록 간 경계의 분포를 국소적으로 재조정(remask)하고 재추정하는 과정으로, 경계 근처의 예측 불일치를 해결해 구문 및 구성을 일관되게 유지한다.
동적 길이 생성(Dynamic-Length Generation): — 생성 길이가 작업의 난이도에 따라 달라져야 한다는 아이디어에서 출발한다. 본 논문은 윈도우 확장 크기와 블록 분할을 함께 추론해 유연한 출력 길이에 적응하는 구조를 제시한다.
CRP 스타일 분할(CRP-Style Partitioning): — CRP 기반의 블록 분할로, 윈도우를 Contiguous Block으로 나누되 사전에 블록 수를 고정하지 않는다. 경계에 대한 데이터 증거에 따라 블록을 창출하거나 확장한다.

베이지안 추론에 기반한 다이나믹하게 구조화된 확산 언어 모델 디코딩

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드