WeEdit: 텍스트 중심 이미지 편집을 위한 데이터셋, 벤치마크 및 글리프 가이드 프레임워크

지시어 기반 이미지 편집(Instruction-based image editing)은 사용자 제공 지시어에 따라 기존 이미지 내의 특정 콘텐츠를 수정하면서 대상이 아닌 영역을 보존하는 것을 목표로 합니다. 전통적인 객체 및 스타일 중심 조작을 넘어, 텍스트 중심 이미지 편집(text-centric image editing)은 이미지 내에 포함된 텍스트 요소의 수정, 번역 또는 재배치에 집중합니다. 그러나 기존의 주요 모델들은 복잡한 텍스트 편집을 정확하게 수행하는 데 어려움을 겪으며, 종종 흐릿하거나 환각(hallucination)을 일으킨 문자를 생성합니다. 본 연구에서는 이러한 실패의 주요 원인을 텍스트 중심 편집에 맞춤화된 전문 학습 패러다임의 부재와 폐쇄 루프 학습 및 평가 시스템에 필요한 대규모 데이터셋 및 표준화된 벤치마크의 부재로 진단합니다. 이러한 한계를 해결하기 위해 확장 가능한 데이터 구축 파이프라인, 두 개의 벤치마크, 그리고 맞춤형 2단계 학습 전략을 포함하는 체계적인 솔루션인 WeEdit을 제시합니다. 구체적으로, 다양한 편집 작업과 15개 언어를 포괄하는 33만 개의 학습 쌍을 생성하는 새로운 HTML 기반 자동 편집 파이프라인을 제안하며, 종합적인 평가를 위한 표준화된 이중 언어 및 다국어 벤치마크를 동반합니다. 알고리즘 측면에서는 명시적인 공간 및 콘텐츠 사전 지식(priors)을 주입하기 위해 글리프 가이드 지도 미세 조정(glyph-guided supervised fine-tuning)을 채택하고, 이어서 지시어 준수, 텍스트 선명도 및 배경 보존과 생성을 정렬하기 위한 다목적 강화학습(multi-objective reinforcement learning) 단계를 수행합니다. 광범위한 실험을 통해 WeEdit이 다양한 편집 작업에서 기존 오픈 소스 모델들을 상당한 차이로 능가함을 입증했습니다.