디퓨전 언어 모델(Diffusion Language Model)이란 정확히 무엇인가?

디퓨전 언어 모델은 이미지 생성에서 주로 사용되던 확산 원리를 텍스트 생성에 적용한 새로운 형태의 언어 모델이다. 기존의 자기회귀 모델이 토큰을 하나씩 순차적으로 예측하는 것과 달리, 이 모델은 전체 문장 범위의 노이즈에서 시작하여 반복적인 디노이징 과정을 통해 텍스트를 동시에 정제해 나간다. 이러한 방식은 문장의 전역적인 맥락을 파악하고 특정 위치의 단어를 유연하게 수정하거나 제약 조건에 맞는 문장을 생성하는 데 강점을 가진다. 다만 이산적인 텍스트 데이터를 연속적인 노이즈 공간으로 변환해야 하는 기술적 난이도와 여러 번의 반복 연산이 필요한 추론 효율성 문제가 주요 해결 과제로 꼽힌다.