Synthetic Layered Design Data가 Layered Design Decomposition에 미치는 영향: SynLayers 연구

그래픽 디자인에서 레이어 분해는 편집의 유연성에 직접적으로 기여한다. 기존 데이터는 규모가 작고(real/partially synthetic)로 제한되며, 합성 데이터의 활용도는 아직 충분히 탐구되지 않았다. 본 연구는 fully synthetic SynLayers 데이터를 통해 레이어 분해의 재구성 품질 및 분포 특성의 개선 가능성을 제시한다. 또한 중간 규모의 데이터에서 최대 이득을 보이고, 대규모 합성 데이터가 실제 디자인 편집시 안정성과 일반화에 기여할 수 있음을 보여준다.

출발점: 기존의 Layered Design 데이터는 규모가 작고, 실제 레이어 간 종속성 modeling은 자연 이미지 만큼 정밀하지 않다. CLD를 바탕으로, 합성 데이터가 layer decomposition의 학습에 충분한 표현력을 제공하는지 실험적으로 확인한다. 해결 원리: SynLayers는 다중 소스 자산으로 구성된 합성 샘플을 생성하고, 3×3 그리드 기반 캡션으로 구성 정보를 캡션-감지기로 보강한다. VLM 캡션 정제 과정을 통해 전-이미지 캡션과 레이어별 설명을 생성하고, 이를 CLD 학습 및 detector 학습에 supervision으로 사용한다. 달라지는 점: 합성 데이터의 효과는 스케일링 법칙을 따르지 않으며, 중간 규모(예: 20K~30K)에서 최적의 레이어/합성 품질과 분포 현실성을 달성하는 경향이 있다. 또한 합성 데이터는 다양한 레이어 수에 대해 더 안정적인 성능과 공간 분포 균형을 제공한다. 실무적 함의: SynLayers를 활용하면 대규모 real/partially synthetic 데이터 없이도 layer decomposition의 재구성 품질과 편집 가능성을 높일 수 있으며, real-world 데이터의 수집 비용을 줄이고 확장성을 개선할 수 있다.

1. CLD를 기본 백본으로 채택하고 입력으로 whole_caption Ctext와 bounding boxes B를 사용한다. 2) crop-then-denoise 파이프라인으로 이미지의 유효 영역만 처리를 수행하고, 16-pixel 그리드에 맞게 좌표를 보정한다. 3) SynLayers는 Base layout, Cross-source layer integration, Auxiliary content insertion, Overlap-minimizing placement으로 구성된 합성 데이터 생성 파이프라인을 통해 1024×1024 RGBA 캔버스에서 샘플을 생성한다. 4) Caption construction은 3×3 격자로 영역별로 설명 내용을 생성한 후, VLM 기반 Caption Refinement로 하나의 자연스러운 전체-이미지 캡션으로 다듬는다. 5) VLM detector fψ(I) = (Ĉtext, B̂)를 학습해 이미지에서 전체 캡션과 바운딩 박스를 예측하고, CLD의 입력으로 사용한다. 6) 학습 설정은 LoRA를 사용한 FLUX.1[dev] 기반 파인튜닝이며, LD-DiT와 MLCA에 LoRA를 주입하고 backbone은 고정한다. 7) 500K 샘플 규모에서 체크포인트별 성능을 모니터링하고, Layer PSNR, Composite PSNR, Layer FID, Composite FID 등을 측정한다.

주요 벤치마크: PrismLayersPro 18K 대비 SynLayers 18K에서 Layer PSNR은 26.22에서 27.23으로 증가, Layer SSIM은 0.865에서 0.879로 증가, Layer FID는 6.62에서 6.18로 개선되었다. IoU는 0.910에서 0.919로 향상, Composite PSNR은 30.52에서 31.35로 상승, Composite FID는 12.50에서 13.21로 변동했다. 20K에서 Layer FID는 5.97, Composite FID는 12.00으로 더 나아졌고, 30K부터는 증가된 학습 규모에도 불구하고 수렴하는 경향이 나타났다. 50K에서 Layer FID는 6.23, Composite FID은 12.45로 확인되었다. 500K까지 확장 시 Layer PSNR 26.75, SSIM 0.873, Layer FID 6.12, Composite PSNR 30.89, Composite FID 12.45로 측정되었다. 일반화 평가: 147-image OOD 테스트에서 SynLayers 20K/30K의 Composite PSNR은 29.80~30.82 범위로 prism-baseline 대비 향상을 보였으며, FID은 PrismLayersPro 대비 감소하는 경향을 보였다(35.40 vs 44.23; Qwen-Image-Layered의 64.30 대비 개선). Layer-count별 균형 평가에서 SynLayers는 중간 규모의 샘플 구성이 다양한 레이어 수에서도 성능 개선을 지속하며, 1–20 레이어 구간에서의 점유 비중이 높아지며 균형된 분포를 유지한다.

1. 입력 형태 및 출력: I ∈ R^{H×W×3}에서 D = {D0, D1, ..., DN-1}로 RGBA 레이어를 산출하며, D0는 합성 이미지, D1은 배경, D2..DN-1은 전경 알파 레이어를 나타낸다. B = {Bcomp, B0, B1, ..., BN-1}은 각 박스 좌표를 16 픽셀 간격으로 보정한다. 2) CLD의 작동 원리: crop-then-denoise를 통해 각 레이어별 바운딩 박스 영역만 처리하고, 모든 영역에 대해 denoise를 수행한 후, 투명 디코더로 RGBA로 복원한다. 3) 멀티 소스 합성: Base layout에서 시작해 Cross-source layer integration, Auxiliary content insertion(LAION crops, Rendered text layers, AlphaVAE 객체) 및 Overlap-minimizing placement를 통해 합성 데이터를 구성한다. 4) Caption 구성: 3×3 격자로 공간 영역을 지정하고 각 영역의 레이어를 원천 데이터의 메타데이터 혹은 탐지된 요소와 결합해 초기 캡션을 생성한 뒤, VLM 캡션 Refinement로 일관된 전체-이미지 캡션으로 다듬는다. 5) Detector 학습: fψ(I) → (Ĉtext, B̂u)을 학습하며, Qwen3-VL-8B-Instruct에 LoRA를 적용해 캡션과 바운딩 박스를 함께 예측한다. 6) 학습 구성: CLD 파인튜닝은 FLUX.1[dev]를 기반으로 LoRA(rank 64)로 LD-DiT와 MLCA에 적용하고, backbone은 동결한다. 7) 평가: Layer-wise, Layout Fidelity, Composite Quality 지표를 사용해 중간 규모에서 최적의 성능이 나타나는지 분석하며, 40K~60K 구간에서 trade-off가 최적이라는 관찰 결과를 제시한다.