PerceptionDLM: 병렬 영역 인지를 위한 다중모달 확산 언어 모델

다중 영역 인지가 필요한 시나리오에서 AR 기반 디코딩은 영역 수에 비례해 지연이 증가한다. PerceptionDLM은 diffusion 언어 모델의 비 autoregressive 특성을 활용해 여러 영역의 캡션을 함께 생성할 수 있도록 설계되었으며, ParaDLC-Bench를 통해 캡션 품질과 추론 효율성을 함께 평가한다. 결과적으로 다중 영역 인지 작업에서 평균 처리량이 크게 증가하고, AR 대비 속도 상승이 가능해진다.

출발점과 한계: AR 디코딩은 각 영역에 대해 순차적으로 캡션을 생성하므로 영역 수가 늘수록 연산량과 지연이 증가한다. 원리: diffusion language model의 마스크된 토큰 예측을 이용해 토큰 단위 병렬 생성을 가능하게 하고, region prompting과 RoI 기반 피처 재생, 그리고 구조적 어텐션 마스킹으로 서로 다른 영역의 정보를 구분하여 처리한다. 달라지는 점: 단일 denoising 프로세스에서 다중 영역의 설명을 함께 생성하므로 AR 대비 추론 속도가 비선형적으로 증가하지 않는다. 결과적으로 다중 영역 인지에서 평균 처리량이 증가하고, 대규모 영역 수에서의 속도 향상이 실현된다.

[입력-처리-생성 흐름] 어떤 입력을 받으면 xt로 마스킹된 타깃 토큰을 디노이즈하는 역 방향 모델을 통해 x0를 재구성한다. 수식: L_DLM = - E_{t, x0, xt} [ (1/t) * sum_i 1[xt_i = [MASK]] * log p_theta(x0_i | xt) ]. 이는 마스킹된 타깃 토큰의 예측 확률을 최적화하는 목표다. 시각적 조건은 SigLIP-2 비전 인코더로 얻은 시각 특성 Hv를 두-layer MLP로 텍스트 임베딩 공간에 매핑해 입력 시퀀스에 결합한다. PerceptionDLM-Base의 학습은 4단계로 구성되며, 비전-언어 정렬 → 대규모 중간 학습 → SFT(22M 샘플) → 고품질 SFT(Honey-Data 15M)로 진행된다. 동적 해상도 tiling: 이미지가 큰 경우 512×512 타일로 분할하고 각 타일은 픽셀 언샤플링으로 시각 토큰 수를 줄인 후 인코더에 전달된다. 손실 함수은 다음과 같이 정의된다: L_PerceptionDLM_Base = - E_{(Xv, Xq, Xa), t, xt} [ (1/t) * sum_{i ∈ Ma} log p_theta(x0_i | xt, Hv, Xq) ], Ma는 Xa의 마스킹된 인덱스 집합이다.

[주요 결과] ParaDLC-Bench에서 PerceptionDLM은 Avg 62.4%로 기존 확산 VLM 대비 우수하며, DLC-Bench에서 51.9%를 기록했다. ParaDLC-Bench 평가에서 AR 모델 대비 속도 이점이 확인되며, Tokens Per Forward(TPF) 지표에서 PerceptionDLM은 2.9를 달성했다. 4-mask 조건에서 처리량은 4마스크에서 3.44×의 속도 향상을 보였고, 단일 이미지 대기 시간은 약 2.9초로 안정적이다. ParaDLC-Bench에서 Judge 모델(GPT-5.2) 사용 시, 32 denoising steps에서 최적의 균형으로 성능과 latency를 달성한다.

[아키텍처] PerceptionDLM-Base는 비전 인코더 + 시각-언어 커넥터 + DLM 디코더로 구성된다. Vision Encoder로 SigLIP-2를 사용하고, 2-layer MLP를 통해 Hv를 텍스트 임베딩 공간으로 매핑한 후 Xq와 Xa의 입력 시퀀스에 결합한다. Diffusion forward는 Xa에만 적용되고 Hv, Xq는 고정 조건으로 유지된다. [수학적 기반] Diffusion 언어 모델의 LLM 구조에 시각 조건을 결합하고, 마스크된 타깃 토큰 예측에 초점을 맞춘다. [주요 차별점] region prompting, RoI-aligned feature replay, structured attention masking은 다중 영역의 간섭을 차단하고 병렬 캡션 생성을 가능하게 한다. [학습 세부사항] 4단계 학습 파이프라인(vision-language alignment, middle-stage training, instruction tuning, high-quality SFT) 및 32×32의 H100에서의 학습이 보고된다. [데이터] ParaCaption-5.7M 데이터 구성은 SA-1B, COCONut에서 GAR-8B로 초기 설명 생성 → LLM으로 핵심 카테고리 추출 → SAM으로 마스크 재예측 및 IoU로 필터링. [평가] ParaDLC-Bench의 2,345개 문제를 LLM judge로 채점하고, 다-region 간 간섭과 독립성 평가에 중점을 둔다.

[한계] 확산 모델의 단계적 디노이징은 여전히 계산 비용의 주요 요인이며, 고밀도 영역에서의 속성Entanglement 완전 제거는 어려움이 보고된다. 향후 RL을 통한 추론 능력 향상, step distillation 같은 방법으로 추론 단계 축소, 지역 간 대조 손실 도입, 그리고 더 정교한 어텐션 마스킹 개선이 제시된다. 실패 사례로 cross-region 엔탈리먼트, 작거나 가려진 영역, 보이는 특성의 잘못된 상상, OCR 텍스트의 오독 등이 분석된다.