클로즈드-루프 검증 추론을 통한 복합 시각 생성의 가능성 확장

단일 단계 생성은 복합 의미 관리에 한계를 보이며 성능이 매개변수 규모 증가에 의해 제한된다. CLVR은 자동화된 데이터 엔진과 검증 가능한 연역 흐름(verified trajectories)을 도입하고 Proxy Prompt Reinforcement Learning(PPRL) 및 Δ-Space Weight Merge(DSWM)를 결합해 긴 맥락의 멀티모달 추론을 안정적으로 학습시키고 실행 시간을 대폭 줄인다. 다수 벤치마크에서 오픈 소스 기반선을 능가하거나 상용 모델에 근접한 성능을 달성하며, 테스트-타임 확장을 가능하게 한다.

출발점과 한계: 단일-스텝 텍스트-투-이미지(T2I) 생성은 복잡한 의미를 처리하는 데 한계를 보이며 매개변수 증가에 따른 수익이 감소한다. 해결 원리: CLVR은 Reason-to-Act 패러다임의 VLM 컨트롤러와 diffusion 제너레이터를 폐쇄 루프 방식으로 연결해, 각 스텝에서 canvas를 평가하고 semantically 누락된 부분을 보정하며, trajactory를 누적 기억으로 유지한다. 추가로 Proxy Prompt를 이용해 긴 맥락의 히스토리를 명시적 보상 신호로 전환하고, ∆-Space Weight Merge로 distillation과 alignment의 가중치를 선형적으로 합쳐 추론 속도를 크게 높인다. 달라지는 점: 단순 증가된 모델 용량 없이도 긴-맥락 멀티모달 추론의 품질과 일관성을 확보하고, 실용적인 4 NFEs 기반 추론으로 실전 배포를 가능하게 한다.

3부로 구성된 CLVR 프레임워크를 제시한다. (1) Trajectory Synthesis: 제약 조건 하에 단계별 CoT 트래젝토리를 자동 생성하고, Passive verification과 Active verification으로 각 단계의 수행 가능성과 정합성을 확인한다. (2) Diffusion Alignment: Proxy Prompt Reinforcement Learning(PPRL)으로 확장된 멀티모달 맥락에서 안정적 최적화를 달성하고, DiffusionNFT를 이용해 정책을 업데이트한다. (3) Efficient Deployment: Trajectory-accumulative conditioning으로 히스토리를 diffusion conditioning에 축적하고 Δ- Space Weight Merge(DSWM)로 28-step distillation과 4-step distillation의 간격을 메우며 재-디스트릴링 없이도 가속을 달성한다.

주요 벤치마크에서의 성능은 다음과 같다. GenEval에서 CLVR(9B) Overall pass=0.88, CLVR(4B)=0.87이다. WiseBench에서 CLVR(9B) WiseScore=0.7584, CLVR(4B)=0.7405이다. PRISM에서 CLVR(9B) Overall=82.1이다. ImagineBench에서 CLVR(9B) Overall=8.830이다. Ablation 연구에서 CLVR(SFT+PPRL+DSWM) 조합은 GenEval에서 0.87, WiseBench에서 0.74의 성능을 달성했다. 속도 측면에서 DSWM 적용 시 2-iteration에서 E2E 생성 시간이 Base: 287.0초에서 25.5초로 감소해 약 11배의 가속이 확인됐다.

1. 전체 아키텍처: Trajectory Synthesis, Diffusion Alignment(PPRL), Efficient Deployment(DSWM)으로 구성된다. 2) 핵심 메커니즘: Proxy Prompt를 offline teacher fVLM으로 추출해 pT2I, pI2I를 생성하고, Rproxy를 RT2I, RI2I로 구성해 DiffusionNFT를 통해 정책을 업데이트한다. 3) Prior work 대비 차별점: UMM 기반의 엔드-투-엔드 모델이 아닌 VLM과 독립적인 확산 모델을 결합해 멀티모달 추론의 진보를 달성하고, 단계별 검증으로 구성된 데이터 엔진으로 비정상적 롤아웃을 제거한다. 4) 구현 및 학습 상세: VLM(Qwen3-VL 8B)과 Diffusion 모델(FLUX.2 Klein 4B/9B)을 사용, SFT로 warmup 후 RL(DiffusionNFT)로 미세조정. SFT 단계에서 20,861개의 트래젝토리 메타데이터를 사용. RL은 LoRA로 학습, 학습 해상도 512x512, CFG 4.0, βKL=1e-5. 5) 이론적 분석: A.1에서 Normal-Tangent Approximate Decoupling을 통해 distillation ∆Wdistill과 alignment ∆WAlign의 출력 기여도가 서로 거의 직교하도록 가정하고, Wfused = Wbase + ∆Wdistill + ∆WAlign으로 합치는 것이 근사적으로 타당하다고 보인다. 6) H/W 및 평가 프로토콜: 8개의 피드백 루프 제한, 28-step baseline과 4-step distill 버전, vLLM 기반의 컨트롤러와 Diffusion Agent를 활용.

논문에서 명시된 한계로, 1) 사용 가능한 weight 변화가 지역 선형 영역에 있을 때만 합성이 안정적으로 동작한다는 가정이 있으며, 모델 간 가중치 간의 거리가 커지면 성능이 저하될 수 있다. 2) 학습 데이터의 구성은 자동화되지만 여전히 특정 도메인과 프롬프트에 의존한다. 3) 고비용의 디버깅 없이 대규모 프로덕션 배포에 바로 적용하기엔 추가적 최적화가 필요하다. 4) 비정형 멀티모달 시퀀스(비디오, 3D 등)로 확장 시 추가 연구가 필요하다.