대규모 계층형 이미지 생성을 위한 MRT: Masked Region Transformer

레이어별로 재사용·편집 가능한 디자인 자산은 고급 디자인 시스템의 핵심이다. MRT는 3가지 상호 보완 작업(T2L, I2L, L2L)을 하나의 공유 프레임워크로 처리하고, boundary를 넘어 확장 가능한 overflow-layer를 도입해 전체 레이어의 재사용성과 편집 가능성을 대폭 확장한다. 더불어 diffusion distillation으로 실시간 멀티-레이어 생성을 가능하게 하여 대규모 디자인 파이프라인의 효율성을 크게 높인다.

출발점: layered design은 각 레이어를 독립적으로 편집하고 재합성할 수 있어야 한다. 이 논문은 이를 diffusion 기반으로 구현하되, 이미지의 전체 캔버스를 하나의 tokens 시퀀스로 다루고 각 레이어를 개별 토큰으로 취급한다.Masked region diffusion은 zcomposed, zbg, {zfg_i}와 같은 토큰 묶음을 구성하고, zmask(선택적 클린 토큰) 외의 토큰에 노이즈를 주입해 역확산을 학습한다. Text-to-Layers는 텍스트 c를 조건으로 전체 구성(zcomposed, zbg, {zfg_i})의 비-마스크 토큰을 노이즈로 덮어 denoise하도록 학습한다. Image-to-Layers는 zmask를 글로벌 합성 이미지 zcomposed로 설정하고, non-masked 토큰 [zbg; {zfg_i}]에 대해 regional diffusion을 수행한다. Layers-to-Layers는 existing layer를 지닌 상태에서 추가 혹은 restylization될 레이어만 노이즈화한 slots에 대해 denoise하도록 한다.이 방식은 task 간 경계를 넘어 다층 구성을 일관되게 유지하면서도 각 작업의 요구에 맞춘 조건 정보를 제공한다.

• 데이터/모델: 10M+ 다층 그래픽 디자인 샘플로 구성된 데이터셋, ground-truth typography 속성 포함. Qwen-Image 기반의 20B 파라미터 anonymous regional diffusion transformer를 사용한다. 60층, 숨김 차원 3584, 24헤드, 학습은 FSDP로 전체 파라미터를 미세조정한다.
• 학습 설정: 두 단계 학습으로 512×512에서 4000 iterations, 1024×1024에서 20000 iterations. 64×H200 GPU, 배치 16/GPU, 128 글로벌. 손실은 Flow Matching objectives를 사용한다(Lflow).
• 태스크 구성: Text-to-Layers(T2L), Image-to-Layers(I2L), Layers-to-Layers(L2L)를 하나의 프레임워크에서 처리하되, 각 태스크에 대해 마스크된 토큰(zmask, zcond 등)과 비마스크 토큰(z0)을 구분하고, 마스크되지 않은 토큰에 대해 Gaussian 노이즈를 주입하며, 시간 스텝 t에 따라 zt=(1−t)z0+tε를 계산한다.
• Overflow 및 레이어 확장: full-size canvas layer를 도입해 완전한 semi-transparent 배경과 overflow 레이어를 다룬다. region-wise patching을 사용해 foreground 레이어를 분리 및 재구성한다.
• 압축/가속: Kosher한 Distillation(DMD2)을 통해 teacher(다중 스텝 역확산)와 student(소수 스텝)의 KL 발산을 최소화하고, TS ≪ TT의 샘플링으로 속도를 대폭 증가시킨다. CacheDiT 및 GPU 병렬화로 대규모 다중 GPU 환경에서 속도를 추가로 개선한다.

• Text-to-Layers: MRT는 ART 대비 텍스트 지시 이행, 미적 측면, 레이어 품질에서 우수하다고 사용자 연구에서 확인되었다. 오버플로우 RGBA 레이어를 전체 캔버스에 생성할 수 있는 점이 차별점이다.
• Image-to-Layers: LayerD, Lovart, RoboNeo 등의 baselines 대비 더 나은 레이어 경계, 해상도, 재현성, 디테일 분해를 보인다.
• Image-to-Layers vs Qwen-Image-Layered: SNRmerged, SSIMmerged가 더 높고(세 그룹에서 모두), latency 및 메모리 측면에서도 MRT가 우수하다. 예를 들어, 1K 해상도 이미지를 약 20개 레이어로 분해할 때 108.5× 속도향상을 기록하고, 메모리는 10.5×~23.6× 감소하는 경향을 보인다.
• Layers-to-Layers: Layer addition 및 restylization에서 일관된 cross-layer 일관성 및 스타일 매칭을 달성한다.
• Ablation: 모델 규모 및 데이터 확장은 FID/PSNR/SSIM 개선에 기여하며, overflow 데이터와 multi-task training의 도입으로 성능이 안정적으로 개선된다. Text conditioning은 I2L에 있어 필수는 아니며, layer grouping augmentation은 레이아웃 불확실성에 대한 강건성을 높인다. Distillation은 50 denoise steps에서 8 steps로 감소시키며 6× 속도향상을 달성한다.

실세계 사진에 대한 일반화 한계가 존재한다. 데이터가 포스터/플라이어 등 디자인 도메인 중심이라 물리적 조명 효과(음영, 반사, 굴절 등)가 복잡한 자연 이미지에선 Shadow가 객체 레이어로 올바르게 매핑되지 않는 경우가 있다. 또한 레이어 정의의 모호성으로 인해 occlusion 영역의 재구성이 어려울 수 있다. 데이터 분포 차이로 인한 amodal 영역 추정 실패, 텍스트 렌더링에서 매우 작은 glyph의 정밀도 저하 등도 있다. 이로 인해 일부 사례에서 경계가 불완전하거나 Gray 배경으로 해석되는 현상이 나타날 수 있다.