PhotoQuilt: 부트스트랩 기반 타일 재노이징을 이용한 학습 불필요 임의 해상도 포토모자이크 생성

포토모자이크는 전역적 장면 재구성과 각 타일의 개별 사진성 사이에 상충이 존재하며, 고해상도에서 두 축을 동시에 만족시키는 생성은 계산 비용이 크다. PhotoQuilt는 전역 레이아웃을 저해상도에서 고정한 뒤 잠재공간으로 업샘플하고 재노이즈를 섞어 타일별 독립 복원을 유도하여 이 상충을 조절할 수 있다. 이 방식은 학습이나 아키텍처 변경 없이도 대형 캔버스에서 전역 일관성과 타일 레벨 현실감을 동시에 유지하는 실용적 경로를 제공한다.

포토모자이크 문제는 두 가지 상이한 규모의 요구를 동시에 만족해야 한다는 점에서 본질적 난제를 포함한다. 한편으로는 전체 캔버스가 멀리서 볼 때 목표 이미지의 저주파 구조를 재현해야 하고, 다른 한편으로는 각 타일이 근접에서 의미 있는 사진으로 읽혀야 한다. 직접 고해상도 생성을 시도하면 모델이 타일 간 경계를 흐리게 합성하여 하나의 부드러운 영상으로 수렴하거나 계산 비용이 급증하는 한계가 발생한다. PhotoQuilt의 핵심 아이디어는 전역 구조를 하나의 공유 저해상도 잠재로 고정한 뒤 이를 고해상도 격자로 업샘플하고 재노이즈를 섞어 타일별로 복원을 독립적으로 수행하는 것이다. 구체적으로는 저해상도에서 생성 또는 인코딩한 z_base를 업샘플러 U로 확장해 z_hat을 얻고, z_tilde_s = (1−s) z_hat + s ϵ로 재노이즈를 주입한다. 이렇게 얻은 공유 초기 잠재를 각 타일 Ω_k로 분할하여 각 타일에서 Φ(z_tilde_s|_{Ω_k}; s→0, c_k)를 수행하면 타일은 자신만의 복원 궤적을 따르며 지역적 디테일을 회복한다. 이 접근은 전역-지역 간의 균형을 재노이즈 강도 s로 연속적으로 조절할 수 있게 하며, 타일 간 주의 결합을 회피함으로써 연산 복잡도를 캔버스 크기에 대해 선형으로 만든다. 결과적으로 같은 전역 레이아웃을 공유하면서도 각 타일이 서로 다른 조건(c_k)에 따라 독립적으로 발현될 수 있어 전역 일관성과 타일 자율성이라는 두 목표가 공존한다.

전체 접근은 세 단계로 구성된다. 첫 단계에서는 전역 조건 g로부터 저해상도 기준 잠재 z_base를 얻는데, 이는 텍스트 프롬프트로 생성하거나 레퍼런스 이미지를 인코딩(ℰ(I_0))하는 방식으로 마련된다. 두 번째 단계는 z_base를 고해상도 그리드로 업샘플(𝒰)하고 재노이즈 강도 s에 따라 z_tilde_s = (1−s) z_hat + s ϵ를 계산하여 모든 타일의 공통 초기화로 사용하는 단계이다. 세 번째 단계에서는 타일 분할 {Ω_k}에 따라 각 타일에 대하여 독립적으로 Φ(·; s→0, c_k)를 실행하여 타일별로 native 해상도에서 복원한 뒤 디코더 𝒟로 합성해 최종 모자이크를 얻는다. 핵심 메커니즘은 공유 잠재와 독립적 역-확산의 결합이다. 공유 잠재는 저주파 레이아웃을 고정하는 역할을 하고, 재노이즈 강도 s는 얼마나 많은 생성 자유도를 타일에 남길지를 조절한다. 역-확산 연산 Φ(z_init; t_a→t_b, c)는 주어진 초기 잠재에서 t_a에서 t_b까지 역방향 샘플링을 수행하는 흑상자 연산으로 구현되며, 각 타일은 동일한 Φ 연산을 각기 다른 조건 c_k로 병렬 실행한다. 구현 세부에서 업샘플러로 bicubic 보간을 사용했으며, 타일 크기는 실험에서 768×768로 설정되어 6144×6144 전체 캔버스(8 타일/축) 구성에 맞추었다. 실험은 SD2.1, FLUX.1, FLUX.2 백본에서 수행되었고, 전역 충실도 평가는 64×64로 다운샘플된 비교, 타일 품질 평가는 CLIP·BLIP·IQA·Image Reward 등의 지표를 사용해 정량화했다.

정량평가는 전역 구조(PSNR, SSIM, LPIPS, HPSv2, Image Reward)와 타일 품질(CLIP, BLIP, CLIP-IQA, HPSv2, Image Reward)을 별도로 측정하여 전역-지역 트레이드오프를 정량화했다. PhotoQuilt(FLUX.1)는 전역 PSNR 30.15와 SSIM 0.89를 기록하며 강한 전역 충실도를 달성했고, 타일 수준에서도 CLIP과 Image Reward에서 높은 점수를 얻어 다수의 기존 기법과 비교해 전역 구조와 타일 사실성 모두를 경쟁력 있게 달성했다. SD2.1 및 FLUX.2 백본에서도 전반적으로 우수한 균형 성능을 보였고, 특히 FLUX.1 백본에서 전반적 성능이 가장 우수했다. 소거 실험은 재노이즈 강도 s와 부트스트랩 해상도의 영향력을 규명했다. s가 작을수록 전역 충실도가 급상승(예: s=0.2에서 PSNR 42.55, SSIM 0.99)하나 타일별 Image Reward가 크게 낮아져 타일의 자율성이 손상되었다. 반대로 s가 커지면 타일 품질이 개선되나 전역 SSIM이 하락했고, 기본값 s=0.6이 전역 및 지역 지표 사이에서 균형점으로 선정되었다. 부트스트랩 해상도 변화에서도 현저한 차이가 관찰되었다. 부트스트랩을 너무 낮은 해상도(256×256)로 설정하면 전역 구조가 소실되었고(PSNR 9.88, SSIM 0.03), 512×512는 약간의 성능 저하만 보였으며 768×768 기본 설정이 가장 안정적인 전역 가이던스를 제공했다. 또한 부트스트랩을 제거하면 타일 점수는 일부 지표에서 오히려 상승하지만 전역 재구성 능력이 완전히 붕괴하여 모자이크 목적이 달성되지 않았다.

전체 아키텍처는 변경을 가하지 않은 사전학습 확산 모델을 흑상자처럼 취급한다. 전역 단계에서 z_base는 Φ(ϵ_low; 1→0, c_0)으로 텍스트에서 생성하거나 ℰ(I_0)로 레퍼런스 인코딩을 통해 얻고, 이를 업샘플러 𝒰로 확장하여 z_hat을 마련한다. 재노이즈는 z_tilde_s = (1−s) z_hat + s ϵ 형태로 주입되어 공유 초기 잠재를 형성하며, 이 값은 모든 타일의 출발점으로 사용된다. 수학적 연산 관점에서 확산 프로세스는 z_t = α_t z_0 + σ_t ϵ의 형태로 중간 잠재를 기술하며 본 논문은 선형 스케줄 α_t = 1−t, σ_t = t를 채택했다. 역샘플링 연산 Φ(z_init; t_a→t_b, c)는 주어진 초기 잠재를 조건 c 하에서 t_a에서 t_b로 돌아오게 하여 깨끗한 잠재로 복원하는 과정이며, PhotoQuilt는 이 연산을 타일별로 병렬 수행해 각 타일의 native 해상도에서 복원을 완료한다. 연산 복잡도 측면에서는 타일 간 주의 공유를 피함으로써 전체 캔버스를 위한 연산이 타일 개수에 대해 선형으로 확장된다. 실험 구현에서는 타일 크기 768×768, 전체 캔버스 6144×6144, 업샘플러로 bicubic 보간을 사용했고 SD2.1·FLUX.1·FLUX.2를 백본으로 비교 평가를 수행해 백본 품질이 전체 결과에 미치는 영향을 분석했다.

논문에서 명시된 한계로는 갤러리 기반 타일 조건 모드에서 각 타일의 최종 복원물이 사용된 레퍼런스 이미지와 완전히 일치하지 않을 수 있다는 점이 있다. 또한 부트스트랩 해상도가 너무 낮으면 전역 레이아웃 정보가 부족하여 전역 재구성이 붕괴하는 현상이 관찰되었다. 마지막으로 재노이즈 강도 s는 전역과 지역 품질 사이의 명확한 트레이드오프를 만들어 사용자가 목적에 따라 값을 신중히 선택해야 한다고 보고되었다.