SmartPhotoCrafter: 자동 사진 편집을 위한 통합 추론, 생성 및 최적화

기존의 사진 편집 AI는 사용자가 구체적으로 무엇을 고칠지 명령해야 했으나, 이 논문은 AI가 직접 이미지의 심미적 결함을 분석하고 보정 전략을 세우는 자동화 프레임워크를 제안한다. 이는 전문 지식이 없는 일반 사용자도 고품질의 사진 보정 결과물을 얻을 수 있게 하며, 복합적인 보정 작업을 단일 모델 내에서 해결한다.

기존의 Diffusion 기반 편집 모델은 텍스트 프롬프트에 의존하여 이미지를 변형하지만, 노출 부족이나 낮은 대비와 같은 미세한 광학적 결함을 스스로 인지하지 못한다. SmartPhotoCrafter는 MLLM(멀티모달 대형 언어 모델)의 추론 능력을 편집 과정의 '두뇌'로 활용하여, 이미지가 가진 심미적 문제점을 먼저 텍스트 형태로 분석하고 이를 잠재 표현(Latent Representation)으로 변환해 생성 모델에 전달한다.

이 과정에서 핵심은 Image Critic이 생성한 추론 결과가 단순히 텍스트 명령어로 전달되는 것이 아니라, 모델 내부의 특징 벡터 수준에서 Photographic Artist와 결합된다는 점이다. 이는 단순한 명령어 추종을 넘어 이미지의 맥락에 맞는 정밀한 픽셀 단위의 수정을 가능하게 한다.

결과적으로 모델은 '안개를 제거하고 대비를 높여라'라는 추론 결과에 따라 실제 픽셀의 밝기 분포와 색상 채도를 조절하며, 강화학습을 통해 인간이 선호하는 고품질 사진의 통계적 특성에 더 가깝게 결과물을 생성하도록 최적화된다.

SmartPhotoCrafter는 Image Critic과 Photographic Artist라는 두 개의 핵심 모듈로 구성된다. Image Critic은 입력 이미지 X를 받아 CoT(Chain-of-Thought) 방식의 심미적 추론 R, 구체적인 편집 제안 E, 그리고 품질 점수 S를 출력한다. Photographic Artist는 입력 이미지 X와 Image Critic의 마지막 레이어에서 추출된 추론 잠재 상태 Hc를 입력으로 받아 최종 편집 이미지 Xe를 생성한다.

학습은 3단계로 진행된다. 1단계 Foundation Pre-training에서는 IQA 데이터셋과 편집 데이터셋을 사용하여 각 모듈의 기초 능력을 SFT(Supervised Fine-tuning)로 학습시킨다. 2단계 Reasoning-Conditioned Adaptation에서는 Photographic Artist가 Image Critic의 추론 표현에 적응하도록 학습하여 두 모듈 간의 의미론적 정렬을 수행한다.

3단계 Coordinated Reasoning-to-Generation RL에서는 GRPO와 DiffusionNFT를 결합한 통합 강화학습 프레임워크를 사용한다. 전체 보상 rPA는 rcomp(의미론적 준수) × (λ1rphoto + λ2rperc)로 계산된다. rphoto는 노출, 대비, 채도 등 K개의 속성 함수 ak(·)를 통해 입력과 정답 이미지 간의 차이를 계산하여 [속성값 차이 → 정규화 → 보상값] 순으로 처리되어 미세한 톤 조절을 유도한다.

자동 사진 보정 성능 측정 결과, MUSIQ(69.52), DINO(0.98), CLIP(0.96) 등 주요 지표에서 기존 SOTA 모델인 FLUX2.Dev나 Step1X-Edit을 상회하는 성능을 보였다. 특히 FID(27.96)와 LPIPS(0.10) 수치에서 가장 낮은 값을 기록하여 실제 사진과 유사한 분포를 유지하면서도 구조적 왜곡이 적음을 입증했다.

다중 편집 지시 준수(Multi-edit Instruction Adherence) 실험에서도 PSNR 21.05, SSIM 0.82를 달성하여 복합적인 보정 명령을 가장 정확하게 수행하는 것으로 나타났다. Ablation Study를 통해 rphoto 보상이 포함되었을 때 미세한 광학적 조정 능력이 비약적으로 향상됨을 확인했다.

본 연구는 MLLM의 추론 능력을 생성 모델의 컨디셔닝 신호로 직접 주입하는 아키텍처를 제안한다. Image Critic은 Qwen2.5-VL-7B를 기반으로 하며, Photographic Artist는 Flow Matching 목적 함수를 사용하는 Qwen-Image-Edit 구조를 채택했다. 두 모델은 레이어 수준의 연결을 통해 텍스트 프롬프트의 한계를 극복하는 고차원 의미 정보를 공유한다.

강화학습 단계에서 도입된 DiffusionNFT는 기존의 이산적 보상 방식을 연속적인 Velocity Field 도메인으로 확장하여, 대비되는 긍정/부정 속도 필드 간의 보간을 통해 정책을 최적화한다. 이는 고해상도 이미지 생성 시 발생할 수 있는 과도한 채도 증가나 아티팩트 발생을 억제하면서도 목표하는 심미적 개선을 달성하게 한다.