대화형 방사선 보고서 초안 작성을 위한 이산 확산 언어 모델

의료용 대규모 모델은 주로 autoregressive 생성 방식으로 구축되어 임의 위치에서의 편집·완성이 제한적이었다. 본 논문은 이산 확산 언어 모델이 의료 VQA 성능에서 동일하거나 우수하며 인퍼런스가 3.5–4.4배 빠르다는 실증적 근거를 제시한다. 또한 양방향 복원 특성으로 임상의가 보고서 일부를 고정하면 좌우 문맥을 동시에 반영해 간격을 채우는 any-order infill을 지원함으로써 실제 판독 워크플로에 적합한 초안 작성 도구를 가능하게 한다.

대부분의 대형 언어 및 비전-언어 모델은 왼쪽에서 오른쪽으로 토큰을 한 번씩 생성하는 autoregressive 방식을 채택한다. 이 방식은 토큰 하나가 이전 토큰만을 조건으로 하므로 문서의 후방 문맥을 반영해 앞쪽의 공백을 채우는 것이 불가능하다. 즉 편집자가 문서 중간을 수정하면 그 이전 문장에 영향을 주는 보완 생성이 본질적으로 제한된다. 본 논문은 이 제약이 의료 보고서 초안 작성 워크플로에서 실질적인 문제라는 점에 착안했다. 확산 언어 모델은 고정된 길이의 토큰 캔버스를 정의하고 반복적으로 캔버스 전역을 노이즈 제거(denoising)한다. 각 복원 단계에서 캔버스의 모든 위치가 서로를 참조하므로 어떤 위치도 좌측 또는 우측만을 참조하지 않고 양방향 문맥을 동시에 반영한다. 이 구조는 사용자가 캔버스의 일부 구간을 고정하면 나머지 위치를 양쪽 문맥을 모두 고려해 채우는 any-order infill를 자연스럽게 지원한다. 수학적으로는 확산 샘플링 과정에서 고정된 토큰 위치를 매 denoising 단계마다 재고정(re-clamp)함으로써 모델이 항상 고정된 문맥을 관찰한 상태에서 자유 위치를 예측하게 만든다. 이 메커니즘은 autoregressive가 가진 순차적 인과성 제한을 제거하므로 편집 기반 초안 생성에 유리하다. 실무 관점에서 동일한 백본 계열의 확산 모델과 AR 모델을 LoRA로 동일하게 적응시켜 비교하면 생성 패러다임 자체가 성능·속도·편집 가능성에 주는 영향을 분리할 수 있다. 논문은 이 방식으로 DiffusionGemma-26B와 Gemma-4-26B를 비교하여 확산이 VQA 성능에서 동등하거나 우수하고 인퍼런스 속도와 편집 유용성에서 실질적 이점을 보인다고 결론지었다.

비교군 통제를 위해 두 모델은 동일한 백본 계열과 vision encoder를 공유하는 모델 패밀리에서 선택되었다. 구체적으로 두 모델은 25.2B 파라미터 규모의 mixture-of-experts 구조를 가지며 활성화되는 파라미터는 3.8B 수준으로 표기된다. 시각 입력은 약 280개의 이미지 토큰으로 인코딩된 뒤 텍스트 생성을 조건으로 사용되며, LoRA를 통해 attention 및 shared-MLP 투영에 rank-64(α=128) 업데이트만 적용해 파인튜닝 비용을 줄였다. 확산 모델은 uniform-state dLLM 목적함수를 사용해 임의 비율의 목표 토큰을 어휘에서 균등 샘플로 대체한 뒤 이를 복원하도록 학습했고 autoregressive 모델은 표준 next-token cross-entropy로 학습했다. 따라서 두 실험은 데이터, LoRA 타깃, 비전 타워, 백본 크기 및 파인튜닝 데이터가 동일하고 생성 패러다임과 각 패러다임에 적합한 옵티마이저만 다르다. any-order infill은 고정된 위치 F와 값 a를 정의한 뒤 목표 분포에서 남은 위치를 조건부 샘플링하는 문제로 정형화했다. 확산 샘플러는 각 denoising 단계에서 고정된 위치를 재강제(clamp)하여 모델이 항상 고정값을 관찰하게 만든 뒤 자유 위치를 동시에 갱신한다. autoregressive는 좌→우 인과성 때문에 동일 조건을 본질적으로 만족시킬 수 없어 인필 성능 차이가 발생한다. 실험은 의료 VQA 세트(VQA-RAD, SLAKE, VQA-Med-2019)와 MIMIC-CXR 인필 태스크를 사용해 성능과 통계적 유의성을 평가했다. 파인튜닝 전·후(base vs finetuned)를 모두 측정했으며 LLM 기반 의미 동치 판정자(Claude Sonnet 4.6)를 사용해 자유응답을 의미 수준에서 채점했다.

의료 VQA 벤치마크에서 확산 모델은 모든 데이터셋에서 동일하거나 더 높은 LLM-judge 정확도를 보였다. 특히 SLAKE에서 finetuned diffusion은 0.863의 정확도를 기록해 동일 계열 AR보다 유의하게 높았고 VQA-RAD와 VQA-Med에서도 동등하거나 소폭 상회했다. 파인튜닝은 두 패러다임 모두에서 성능을 향상시켰으며 SLAKE에서의 향상이 가장 컸다. 추론 속도 측정에서는 Gemma-4 AR(탐욕적 디코드) 대비 DiffusionGemma가 16/32/48 denoising 단계에서 지연이 1.46s~1.84s로 AR의 6.43s에 비해 3.5–4.4× 빠르게 동작했고 처리량은 5.7–7.1× 높았다. 임의 위치 인필 실험(MIMIC-CXR)에서 확산 모델은 우측 문맥을 추가할 때 token-F1이 +0.109(p<10⁻¹⁰) 개선되고 LLM-judge 정확도가 +0.129(p=2×10⁻⁵) 향상되어 양방향 문맥을 강하게 활용했다. 같은 조건에서 AR 모델은 우측 문맥을 프롬프트로 제공해도 유의한 개선을 보이지 않아 모델×문맥 상호작용이 통계적으로 유의미함을 보였다. 전반적으로 확산은 성능·속도·인필 능력 측면에서 실무적 이점을 동시에 제공했다.

아키텍처는 동일한 SigLIP 계열의 vision encoder(약 280 이미지 토큰)와 mixture-of-experts 텍스트 디코더를 공유하는 두 백본으로 구성되며 전체 파라미터는 25.2B, 활성화 파라미터는 3.8B로 표기된다. LoRA로는 attention과 shared-MLP 투영에 rank-64(α=128) 업데이트만 적용했고 전문가 집합, 라우터, 비전 타워는 동결해 파인튜닝 비용을 절감했다. 확산 모델의 학습 목적함수는 uniform-state dLLM으로, 목표 문자열의 무작위 비율 토큰을 어휘에서 균일하게 대체한 뒤 모델이 이를 복원하도록 학습한다. 이 과정은 [어떤 값 입력] 목표 토큰에서 일부를 균등 샘플로 바꿈 → [어떤 연산] 모델이 노이즈화된 토큰을 복원하는 denoising 연산을 수행함 → [결과] 원래 토큰 분포에 근접한 예측을 반환함 → [의미] 모델이 부분적으로 손상된 캔버스에서 전반적 문맥을 이용해 복원 능력을 학습함의 구조를 따른다. AR 모델은 표준 next-token cross-entropy를 사용해 좌→우 조건부 확률을 직접 최적화했고, 두 패러다임은 각자에 최적화된 AdamW 하이퍼파라미터를 유지했다. 샘플링 관점에서 any-order infill은 확산 샘플러에서 각 denoising 단계 전후로 고정된 위치를 재강제(clamp)하는 방식으로 구현되며, 이는 [어떤 값 입력] 고정 토큰과 캔버스 잔여 토큰 → [어떤 연산] 고정 토큰 재적용 후 전체 비고정 위치를 병렬 업데이트 → [결과] 좌우 문맥을 반영한 샘플이 생성 → [의미] 고정된 문맥이 모든 샘플링 단계에서 지속적으로 관찰되므로 양방향 정보가 실제로 반영된다. 학습·평가 환경은 H100(bf16) 등 고성능 GPU에서 수행되었고 상세한 하이퍼파라미터는 부록에 수록되어 있다.