RefineAnything: 완벽한 국소 세부 사항을 위한 멀티모달 영역 특화 정밀화

최신 이미지 생성 모델들도 작은 텍스트나 복잡한 로고 등 국소적인 세부 사항에서 왜곡이 발생하는 '로컬 디테일 붕괴' 문제를 겪고 있다. 이 논문은 배경을 전혀 건드리지 않으면서 사용자가 지정한 특정 영역만 고해상도로 정밀하게 복구하는 기술을 통해 이커머스나 광고 등 고정밀 이미지가 필요한 실무 분야의 한계를 해결한다.

대부분의 확산 모델은 이미지를 VAE(Variational Autoencoder)를 통해 압축된 잠재 공간으로 변환하여 처리한다. 하지만 전체 이미지 해상도가 고정된 상태에서 아주 작은 영역(예: 신발의 로고)은 할당되는 픽셀 수가 너무 적어 VAE 인코딩 과정에서 핵심적인 세부 정보가 소실되는 현상이 발생한다. 이는 마치 멀리 있는 작은 글자를 사진으로 찍으면 확대해도 글자가 뭉개져 보이는 것과 같은 원리이다.

이 논문은 '정보의 양은 같더라도 해상도 예산을 어디에 집중하느냐에 따라 복구 품질이 달라진다'는 직관에 주목한다. 작은 영역을 미리 잘라내어(Crop) 전체 해상도 크기로 키운(Resize) 뒤 모델에 입력하면, VAE가 해당 영역의 미세한 특징을 훨씬 더 정밀하게 포착할 수 있게 된다. 이는 돋보기를 대고 세밀한 부분을 다시 그리는 것과 유사한 방식이다.

결과적으로 동일한 모델 파라미터를 사용하더라도 입력 데이터의 파라미터화 방식을 바꿈으로써 텍스트의 획이나 로고의 복잡한 구조를 깨짐 없이 복구할 수 있게 된다. 정밀화된 결과물은 부드러운 마스크 블렌딩을 통해 원래 배경에 자연스럽게 통합되어 전체적인 이미지의 일관성을 유지한다.

RefineAnything은 Qwen2.5-VL 멀티모달 인코더와 MMDiT 아키텍처를 기반으로 설계됐다. 전체 프로세스는 크게 세 단계로 나뉜다. 첫째, 사용자가 제공한 마스크나 바운딩 박스를 기반으로 정밀화가 필요한 영역을 식별하고 여백(Margin)을 포함하여 크롭한다. 둘째, 크롭된 영역을 모델의 기본 입력 해상도(예: 1024x1024)로 리사이즈하여 모델에 입력함으로써 국소 영역에 대한 해상도 밀도를 극대화한다.

모델 내부에서는 고수준 멀티모달 컨텍스트(VLM)와 저수준 시각 컨텍스트(VAE Latents)가 결합되어 작동한다. 입력 이미지 I와 참조 이미지 I_ref, 텍스트 지시어 y가 주어지면 Qwen2.5-VL 인코더를 통해 컨디셔닝 토큰 c를 생성한다. [입력 이미지와 텍스트 → VLM 인코딩 → 특징 벡터 c 생성] 과정을 거쳐 모델은 어떤 부분을 어떻게 고쳐야 할지 이해한다. 동시에 VAE 인코더는 이미지의 세부 질감을 잠재 공간 벡터 z로 변환하여 MMDiT 백본에 전달한다.

학습 시에는 Boundary Consistency Loss(L_boundary)를 사용한다. 이는 편집 영역의 경계 밴드 B_c를 정의하고 해당 부분의 손실값에 가중치 α를 곱해 계산한다. [손실 지도 ℓ_base와 경계 마스크 B_c 입력 → ℓ_base ⊙ (1 + αB_c) 연산 → 가중치 적용된 손실값 출력] 과정을 통해 모델은 편집된 부분과 배경이 만나는 지점을 더 정교하게 학습하여 시각적 불연속성을 제거한다.

RefineEval 벤치마크 실험 결과, RefineAnything은 참조 기반 정밀화에서 기존 SOTA 모델인 Kontext 대비 MSE를 0.040에서 0.020으로 50% 감소시켰으며, LPIPS 역시 0.264에서 0.155로 41% 개선했다. 특히 배경 일관성 지표인 MSE_bg와 LP_bg에서 0.000을 기록하며 편집 영역 외의 배경을 완벽하게 보존함을 입증했다.

참조 이미지가 없는 텍스트 기반 정밀화에서도 시각적 품질(VQ), 자연스러움(Nat.), 세부 충실도(Det.) 등 모든 주관적 평가 지표에서 가장 높은 점수를 획기적으로 획득했다. 특히 Qwen-Edit 대비 시각적 품질에서 +0.725점의 향상을 보였다.

Ablation Study를 통해 Focus-and-Refine 전략의 유효성도 확인됐다. 포커싱 단계를 제거했을 때 MSE가 0.020에서 0.021로 상승하고 SSIM이 0.591에서 0.578로 하락하는 등 국소 디테일 복구 성능이 눈에 띄게 저하되는 것이 수치로 증명됐다.

RefineAnything은 MMDiT(Multi-Modal Diffusion Transformer) 구조를 채택하여 텍스트와 이미지 정보를 병렬적으로 처리한다. 기존의 UNet 기반 모델들이 전역적인 특징 추출에는 강하지만 국소적인 세부 제어에 한계를 보였던 점을 개선하기 위해, 모든 레이어에서 멀티모달 토큰과 VAE 잠재 토큰이 상호작용하도록 설계됐다.

모델은 Qwen-Image-Edit을 베이스라인으로 하여 LoRA(Low-Rank Adaptation) 기법으로 파인튜닝되었다. 특히 Attention 프로젝션 레이어(to_q, to_k, to_v, to_out)에 rank=256의 LoRA를 적용하여 효율적인 학습을 수행했다. 학습 과정에서는 Flow-matching 목적 함수를 사용하여 노이즈 제거 과정을 최적화했다.

데이터 구축 단계에서는 VLM(Gemini3)과 SAM3를 결합한 자동화 파이프라인을 사용했다. VLM이 이미지 내의 주요 객체를 식별하고 바운딩 박스를 생성하면, SAM3가 이를 정밀한 인스턴스 마스크로 변환한다. 이후 의도적인 열화(Degradation)를 가한 뒤 이를 복구하도록 학습시킴으로써 실제 환경에서 발생할 수 있는 다양한 디테일 붕괴 상황에 대응할 수 있도록 했다.

이 모델은 사용자가 지정한 영역 내에서만 작동하므로, 영역 지정이 잘못되거나 너무 광범위할 경우 Focus-and-Refine의 이점이 줄어들 수 있다. 또한 매우 복잡한 텍스트나 고도로 추상적인 로고의 경우 참조 이미지 없이는 완벽한 복구가 어려울 수 있다는 점이 명시되어 있다.