masked-diffusion-model
마스킹 확산 모델
토큰을 특수한 흡수 상태로 점진적으로 대체한 뒤 이를 역으로 복원하도록 학습하는 이산 확산 모델 계열로, 연속시간 CTMC(Continuous-Time Markov Chain) 관점에서 샘플링을 해석하면 멀티모달 병렬 생성이 가능해진다. 본문에서는 텍스트와 이미지 토큰을 통합된 어휘로 취급해 한 번의 전방 패스에서 교차 모달 신호를 추출하는 기반 모델로 사용되며, remasking을 통해 일단 확정된 토큰을 다시 되돌릴 수 있는지가 핵심 과제로 다뤄졌다.
