동시적 이미지 이해와 생성: Self-Correcting Coupled Markov Jump Processes

인간의 이해와 생성은 동시에 일어나며 서로의 결정을 즉시 반영한다는 인지적 특성이 본 논문의 출발점이다. 기존의 병렬 멀티모달 샘플러는 한 스텝 내에서 두 모달리티의 최신 결정을 상호 반영하지 못해 교차모달 모순이 누적되는 한계가 있었다. CO2 Jump는 한 번의 전방 패스에서 얻은 Self-Confidence와 cross-modal attention을 사용해 모달 간 전이율을 결합하고 리마스킹으로 이전 결정을 되돌릴 수 있게 하여 이러한 한계를 해결했다.

기존 Masked Diffusion Models는 모든 토큰을 병렬로 복원하는 장점이 있으나 한 번 언마스크된 토큰을 되돌릴 방법이 없어 초기 오류가 누적되는 문제를 보였다. 또한 병렬 샘플러들이 같은 스텝에서 텍스트와 이미지를 각각 업데이트하더라도 그 업데이트들이 서로의 최신 결정을 반영하지 못해 모달리티 간 편향이 발생했다. 이러한 점을 출발점으로 삼아 본 논문은 joint generation을 하나의 통합된 상태공간으로 보고 각 모달리티의 전이율을 다른 모달리티의 확신도에 함수로 연결하는 결합된 MJP 관점을 도입했다.

연구팀은 사전학습된 MDM을 그대로 두고 단일 전방 패스에서 얻은 출력으로만 의사결정을 수행하는 CO2 Jump 샘플러를 설계했다. 먼저 모델의 최종 레이어 히든 표현에서 위치별 Self-Confidence를 추출하고 Gumbel-max 샘플링으로 후보 토큰을 고른 뒤 그 확률을 Self-Confidence로 정의했다. 이미지 측 점수는 Self-Confidence와 이미지→텍스트 cross-attention을 통해 전파된 텍스트 Self-Confidence(즉 CrossSignal)를 엔트로피 기반 스칼라 게이트 λ로 혼합해 Coupled Confidence를 계산하고, 텍스트 점수는 순수 Self-Confidence로 유지하는 비대칭 스코어링 규칙을 적용했다.

이미지 편집 벤치마크에서 CO2 Jump는 target mAP 0.346과 overall mAP 0.369를 기록해 Qwen3-VL-8B의 동일 이미지 기반 grounding 점수(0.330 target, 0.360 overall)를 상회했다. 샘플링 단계 수를 8에서 512로 늘리는 실험에서 CO2 Jump만이 ImgEditBench 점수와 overall mAP에서 단조롭게 상승하는 특성을 보였고, 512 NFE에서 ImgEditBench는 1.93, overall mAP는 0.369에 도달했다. 시각 추론 태스크인 JMaze 및 JNono의 joint accuracy에서 CO2 Jump는 모든 분할에서 최상위를 차지했으며 Nonogram OOD 분할에서는 베스트 베이스라인 대비 +0.062 개선을 보고했다.

모델 출력은 한 전방 패스에서 얻은 위치별 확률분포 p_θ(v|z_t,c)와 최종 레이어 히든 H_t^{text}, H_t^{image}를 이용한다. 이미지→텍스트 cross-attention A_t^{image→text}은 H_t^{image} (H_t^{text})^T / sqrt(D) 형태의 점곱에 mask-aware bias B_t를 더해 Softmax로 계산되며, CrossSignal은 A_t^{image→text}로 가중합한 텍스트 Self-Confidence이다. 이미지 쪽 합성 점수인 CoupledConf는 Rank(SelfConf_image)와 Rank(CrossSignal)을 엔트로피 기반 게이트 λ로 가중 평균하여 얻고, λ는 평균 토큰 엔트로피 H_ ext{text}와 H_ ext{image}의 비율로 결정된다.

논문은 실험을 텍스트-이미지 쌍에 국한해 수행했으며 멀티모달 레시피의 일반화를 오디오·비디오·구조화 출력으로 확장하는 부분은 후속 연구로 남겨두었다. 제안된 방법은 사전학습된 MDM의 숨겨진 표현과 어텐션에서 cross-modal 신호를 끌어쓰는 구조에 의존하므로 해당 정보가 약한 백본에서는 성능 우위가 제한될 가능성이 있다는 점이 명시적으로 언급되었다. 또한 리마스킹 비율 η와 σ_t 스케줄 같은 하이퍼파라미터가 성능과 안정성에 민감하게 작용하므로 실제 적용 시 해당 스케줄링을 검증해야 한다고 논문에 기술되어 있다.