편집 개념 확장과 밀집 감독으로 이미지 편집 성능 높이기

왜 중요한가

기존 이미지 편집 데이터셋은 다양한 원본 이미지를 늘리는 데 집중했지만, 실제 일반화의 병목인 세밀한 편집 개념의 분포와 개념별 학습 신호는 충분히 다루지 못했습니다. ConceptEdit는 1,000개 이상의 편집 개념을 균형 있게 수집하고 여러 비간섭 편집을 한 쌍에 결합해, 12 million개의 고품질 편집 쌍과 세밀한 평가 체계를 함께 구축했습니다. 5M 학습 규모에서 ImgEdit-Bench 점수 3.75를 기록해 ScaleEdit의 3.31보다 0.44점 높였고, 복합 편집 데이터가 없을 때 같은 성능에 약 1.5× 더 많은 샘플이 필요했습니다.

핵심 기여

편집 개념을 1,000개 이상으로 세분화

원본 이미지의 다양성만 확장하던 방식에서 벗어나, 편집 작업 자체를 1,000개 이상의 세부 개념으로 나누는 계층형 Edit Concept Library를 구축했습니다. LLM이 초기 분류 체계를 반복적으로 병합·정리하고 새 하위 범주와 leaf 개념을 채운 뒤, 사람 전문가가 의미 중복과 누락된 고가치 사례를 다듬었습니다. ConceptEdit 10, ConceptEdit 500, ConceptEdit 1000을 비교한 결과, ImgEdit-Bench의 5M 점수가 3.27에서 3.48과 3.60으로 상승했습니다.

비간섭 복합 편집을 이용한 Dense Supervision

단일 편집 쌍에서는 수정 영역이 이미지의 작은 부분에 머물러 손실이 배경 보존과 동일성 매핑에 치우치는 문제가 발생합니다. VLM 기반 aggregator가 편집 개념과 영역을 선택하고 영역 간 교집합이 없도록 걸러낸 뒤, 하나의 통합 지시문과 검증 목록으로 여러 변환을 묶습니다. ConceptEdit 1000에 복합 편집 데이터를 1:1로 섞자 ImgEdit-Bench 전체 점수가 두 학습 규모에서 0.15점 상승했고, 5M에서는 Adjust, Replace, Act. 점수가 각각 0.20, 0.26, 0.25 향상됐습니다.

인스턴스별 VQA 검증을 포함한 합성 파이프라인

구조화된 개념 라이브러리에서 원본 이미지와 맞는 후보를 고르고, VLM이 편집 지시문과 해당 사례의 VQA 검증 기준을 동시에 생성합니다. 이미지 합성 뒤에는 국소 오류가 발생하기 쉬운 영역을 묻는 맞춤형 질문과 CoT 검증을 적용해 샘플을 통과시키거나 폐기하고, 필요하면 지시문을 다시 작성합니다. Generic Validation 대비 Precision은 75.0%에서 84.0%, Recall은 57.0%에서 87.0%, F1-Score는 65.0%에서 86.0%, Accuracy는 90.0%에서 95.0%로 높아졌습니다.

ConceptEdit-12M과 ConceptEdit-Bench 구축

개선된 합성 파이프라인으로 12 million개의 검증된 고품질 이미지 편집 쌍을 구성해 ConceptEdit-12M을 만들었습니다. 별도의 ConceptEdit-Bench는 1,000개의 세밀한 편집 범주를 사용해 smile, smirk, laugh처럼 가까운 개념을 구분하고 특정 능력군을 선택적으로 평가합니다. 이 구조는 단일 종합 점수에 가려지는 long-tail 편집 실패를 개념별로 추적할 수 있게 합니다.

관련 Figure

Infographic
상위 구조는 Global Enhancement, General Object Editing, Text Graphic Design, Portrait Human Specialized Editing, Generation Composition, Advanced Domain Application의 여섯 범주로 나뉩니다. 하위 카드에는 Style Transfer 45 details, Environmental Simulation 42 details, Beauty Makeup 43 details, Emotion Expression 37 details, Camera Shift 20 details, Entertainment & ACG 36 details가 표시되며, 각 개념이 실제 이미지 편집 전후 사례와 연결됩니다.
1,000개 이상의 Fine-Grained Edit Concepts를 계층적으로 분류한 taxonomy와 편집 예시입니다.

핵심 아이디어 이해하기

Text-to-Image diffusion 모델은 이미지 전체의 픽셀에 생성 신호를 적용하므로 원본 데이터의 분포를 넓히는 일이 핵심 학습 과제가 됩니다. 반면 instruction-based image editing은 원본 이미지와 편집 개념을 함께 입력받고, 일부 영역만 바꾸면서 나머지 영역을 보존해야 합니다. 기존 데이터가 Add, Remove, Style 같은 거친 유형만 반복하면 모델은 넓은 편집 공간의 세부 변환을 충분히 보지 못하고, 수정 영역이 작으면 대부분의 손실이 변하지 않은 배경에서 발생합니다.

ConceptEdit는 이 두 문제를 각각 개념 확장과 공간적 신호 밀도로 처리합니다. 먼저 LLM과 사람 검수를 이용해 coarse category를 finger heart, confused, camera shift 같은 세부 leaf 개념으로 나누고, 개념별 빈도를 추적해 샘플링 가중치를 조정합니다. 원본 이미지와 후보 개념을 입력하면 VLM이 호환되는 개념, 편집 지시문, 사례별 VQA 기준을 출력하며, 이 결과가 이미지 합성과 품질 검증으로 이어집니다.

그다음 서로 다른 위치에 있어 간섭하지 않는 편집들을 하나의 이미지 쌍에 결합합니다. 입력은 편집 개념과 각 개념의 영역이고, 처리 단계에서는 영역 겹침을 제거한 뒤 통합 지시문과 검증 목록을 만들며, 출력은 여러 변환이 적용된 하나의 복합 편집 이미지입니다. 한 번의 학습 순전파가 여러 수정 영역의 변환을 동시에 학습하므로 배경 복원보다 구조적 편집에 더 많은 신호를 할당하고, 단일 편집과 복합 편집 모두의 성능을 높입니다.

관련 Figure

Diagram
그림 상단은 기존 방식이 원본 이미지 다양성을 늘리면서 Add, Remove, Style, Background 같은 제한된 개념에 머무는 구조와, 1,000개 이상의 세밀한 개념으로 편집 분포를 넓히는 방식을 나란히 놓습니다. 하단은 한 이미지 쌍에 하나의 변경만 적용하는 희소 감독과, 서로 다른 영역에 여러 변경을 적용하는 Dense Supervision을 비교하며, 후자가 한 학습 쌍에 더 많은 편집 신호를 담는 과정을 나타냅니다.
기존의 거친 단일 편집과 ConceptEdit의 세밀한 개념 확장·복합 편집을 비교한 개념도입니다.

방법론

개선된 합성 과정은 Edit Concept Library Construction, Semantic Matching and Instruction Generation, Image Synthesis, Instance-Specific Verification의 네 단계로 구성됩니다. 첫 단계에서 LLM은 수동 seed taxonomy를 바탕으로 중복 개념을 합치거나 제거하고 중간 하위 범주와 세부 leaf를 확장하며, 사람 전문가는 의미가 겹치는 항목과 빠진 edge case를 보완합니다. 이 결과가 무작위로 소수 범주를 선택하는 대신 1,000개 이상의 개념을 관리하는 구조화된 입력 공간이 됩니다.

원본 이미지와 후보 개념 집합이 주어지면 VLM은 이미지와 의미적으로 맞는 개념만 선택하고, 각 개념에 대한 편집 지시문과 VQA 검증 기준을 함께 생성합니다. 개념별 생성 빈도를 기록해 덜 사용된 범주의 샘플링 비중을 조정하고, 미리 정의된 확률에 따라 VLM이 라이브러리 밖의 새 개념을 탐색하도록 허용합니다. 생성된 지시문은 편집 모델의 입력이 되고, 결과 이미지는 사례별 질문을 이용한 국소·전역 검증으로 이어집니다.

Dense Supervision에서는 후보 편집 개념과 영역을 VLM aggregator에 입력합니다. aggregator는 영역이 서로 겹치지 않는 개념만 남기고 통합 지시문, 전역 VQA 체크리스트, 선택된 개념·영역 집합을 출력하며, 여러 편집 모델 호출을 순차 또는 동시 적용해 복합 결과를 만듭니다. VQA 필터가 각 독립 편집의 실행 여부를 다시 확인하므로, 오류가 있는 복합 쌍은 제거하거나 지시문을 재작성할 수 있습니다.

실험은 Z-Image를 기본 모델로 사용하고 2M 및 5M 학습 규모에서 수행했습니다. 지시문과 필터링에는 Qwen3.5-122B-A10B, 이미지 합성에는 FLUX.2-klein-9B를 사용했으며, learning rate는 1 × 10⁻⁵, 전체 batch size는 512로 고정했습니다. 비교 대상은 UnicEdit와 ScaleEdit이고, ImgEdit-Bench와 GEdit-Bench의 영어·중국어 평가를 사용했습니다.

관련 Figure

Diagram
Stage 1은 LLM 지식을 활용해 1,000개 이상의 계층형 개념 라이브러리를 만들고 사람 검수와 최적화를 거칩니다. Stage 2에서 VLM이 원본 이미지와 선택 개념을 바탕으로 지시문과 VQA 체크리스트를 만들고, Stage 3에서 FLUX.2, Qwen Image Edit, Nano Banana2 같은 이미지 편집 모델을 호출하며, Stage 4에서 국소 artifact와 정체성 보존을 확인해 Pass, Rewrite, Reject를 결정합니다.
Edit Concept Library 구축부터 VQA 기반 필터링과 재작성까지 이어지는 네 단계 합성 파이프라인입니다.

Chart
막대그래프에서 Impressionism 273, Watercolor 175, Ukiyo-e 132, Art Nouveau 95, Pop Art 71로 상위 스타일의 빈도가 크게 나타납니다. 누적선은 상위 5개 스타일이 전체 생성 지시의 74.6%를 차지함을 표시하며, 수십 개의 다른 스타일이 1% 미만으로 밀려나는 distribution collapse를 수치로 나타냅니다.
무작위 VLM 지시 생성에서 Style Transfer 상위 개념의 발생 빈도와 누적 비율을 나타낸 그래프입니다.

Chart
Impressionism 19, Watercolor 22, Ukiyo-e 17, Art Nouveau 21, Pop Art 18, Cyberpunk 20, Oil Painting 16, Retro/Vintage 21, Minimalist 21, Anime/Manga 18로 각 항목의 빈도가 16에서 22 사이에 모여 있습니다. 앞선 그래프처럼 소수 스타일이 대부분의 샘플을 차지하지 않고, 라이브러리 기반 샘플링이 세부 개념의 고른 노출을 만드는 구조를 나타냅니다.
Edit Concept Library를 사용한 뒤 여러 Style Transfer 개념의 생성 빈도가 균형에 가까워진 결과입니다.

주요 결과

ImgEdit-Bench에서 ConceptEdit 1000 w/ Comp.는 2M와 5M 학습 규모에서 각각 3.48과 3.75의 Overall 점수를 기록했습니다. 이는 ScaleEdit의 3.17과 3.31보다 각각 0.31점과 0.44점 높은 값이며, Add, Style, Bg., Act. 범주에서 뚜렷한 우위를 보였습니다. GEdit-Bench에서도 영어와 중국어 양쪽 평가에서 복합 편집 모델이 가장 높은 종합 성능을 기록했고, 성능 증가는 주로 instruction following을 측정하는 G SC 점수의 상승과 연결됐습니다.

개념 세분화만 비교하면 ImgEdit-Bench 2M 점수가 ConceptEdit 10의 3.05에서 ConceptEdit 500의 3.26, ConceptEdit 1000의 3.33으로 증가했습니다. 5M에서는 ConceptEdit 10의 3.27이 ConceptEdit 1000의 3.60으로 0.33점 상승했으며, GEdit-Bench 영어 G SC는 5.91에서 6.86으로, 중국어 G SC는 5.83에서 6.75로 높아졌습니다. 이는 단순히 데이터 양을 늘리는 것보다 세부 편집 개념의 노출을 넓히는 방식이 Style, Adj., Rep. 같은 작업의 지시 이해를 개선했음을 뜻합니다.

복합 편집 데이터를 추가하면 ImgEdit-Bench 점수가 학습 규모와 관계없이 0.15점 상승했습니다. 5M 기준으로는 Adjust가 0.20, Replace가 0.26, Act.가 0.25 증가했고, GEdit-Bench 영어 G SC는 2M에서 최대 0.43점 높아졌습니다. 같은 성능에 도달하려면 복합 데이터가 없는 설정에서 약 1.5× 많은 샘플이 필요해, 비간섭 편집 결합이 학습 샘플당 유효 신호를 늘렸습니다.

인스턴스별 VQA 필터는 Generic Validation보다 Precision, Recall, F1-Score, Accuracy를 각각 9.0%, 30.0%, 21.0%, 5.0% 높였습니다. Generic Validation은 전체적인 질문만 사용해 국소 artifact를 놓치기 쉬운 반면, ConceptEdit의 맞춤형 질문은 편집 대상 영역과 지시문에 연결된 실패 조건을 직접 확인합니다. 따라서 합성 데이터의 hallucination과 미세한 불일치를 줄이는 품질 관리 절차로 기능합니다.

관련 Figure

Chart
복합 데이터가 없는 모델은 2M, 3M, 4M, 5M, 6M, 7M, 8M에서 각각 약 3.33, 3.50, 3.59, 3.60, 3.66, 3.70, 3.78의 점수를 기록합니다. 복합 데이터를 사용한 모델은 2M에서 3.48, 3M에서 3.56, 4M에서 3.64, 5M에서 3.75에 도달하며, 그림은 복합 데이터 없이 유사한 점수에 도달하려면 약 1.5× 많은 데이터가 필요하다는 관계를 강조합니다.
복합 편집 데이터 사용 여부에 따른 ImgEdit 벤치마크 점수와 학습 데이터 규모를 비교한 그래프입니다.

기술 상세

ConceptEdit의 개념 라이브러리는 상위 범주와 세부 leaf 개념을 연결하는 계층 구조입니다. 초기 seed taxonomy를 LLM에 입력하면 반복 과정에서 중복 개념을 병합·제거하고 새 중간 범주와 세부 노드를 확장하며, 이후 사람 전문가가 의미 중복과 누락을 교정합니다. 논문 그림의 예시에는 Style Transfer 아래 Oil Painting Style, Watercolor Style, Ukiyo-e Style 등이 있고, Spatial Geometric 아래 Move Position, Resize, 2D Rotate 등이 포함됩니다.

원본 이미지와 후보 개념 집합을 VLM generator에 입력하면 호환되는 개념, 텍스트 지시문, VQA 기준이 함께 출력됩니다. 개념별 빈도를 계속 기록해 샘플링 가중치를 조정하므로, Style Transfer에서 상위 5개 스타일이 74.6%를 차지하던 무작위 분포 집중을 완화합니다. 동시에 일정 확률로 라이브러리 밖의 새 개념을 생성하게 해 고정된 taxonomy에만 묶이지 않도록 구성했습니다.

Dense Supervision의 핵심 제약은 선택된 편집 영역이 서로 겹치지 않아야 한다는 점입니다. 영역 A와 영역 B가 입력될 때 두 영역의 교집합이 없도록 선택하고, 남은 개념들을 하나의 통합 지시문과 검증 목록으로 묶어 복합 결과를 만듭니다. 이렇게 하면 각 편집이 서로 다른 위치에서 실행되면서도 한 이미지 쌍 안에 여러 활성 변환 신호가 들어가며, 배경의 identity mapping에 치우친 reconstruction loss의 비중을 낮춥니다.

합성 결과 검증에는 편집 지시문 생성 단계에서 만든 사례별 VQA 질문을 재사용합니다. 질문은 원본과 결과의 얼굴 정체성, 객체 위치, 텍스트 정확성, 국소 artifact처럼 해당 사례에서 실패하기 쉬운 요소를 겨냥하고, VLM은 각 항목을 확인한 뒤 전체 결과를 통과·재작성·거부로 분류합니다. Pseudo GT로 평가한 Instance-Specific 필터의 Precision은 84.0%, Recall은 87.0%, F1-Score는 86.0%, Accuracy는 95.0%였습니다.

학습 실험에서는 ConceptEdit 1000과 복합 편집 데이터를 1:1로 혼합했습니다. 5M 규모에서 ImgEdit-Bench Overall은 복합 데이터 없이 3.60, 복합 데이터를 사용하면 3.75가 되었고, 복합 데이터가 없는 설정은 약 1.5× 더 많은 샘플을 사용해야 유사한 점수에 도달했습니다. 기본 모델 Z-Image, 지시문·필터링 모델 Qwen3.5-122B-A10B, 합성 모델 FLUX.2-klein-9B를 고정해 데이터 구성과 감독 방식의 영향을 비교했습니다.

실무 활용

ConceptEdit-12M은 instruction-based image editing 모델의 학습 데이터로 사용할 수 있고, ConceptEdit-Bench는 세밀한 편집 능력별 회귀 테스트에 활용할 수 있습니다. 특히 단일 편집 데이터만으로 학습할 때 수정 신호가 희소해지는 문제를 줄이기 위해 비간섭 복합 편집을 추가하는 구성이 적합합니다.

이미지 편집 모델의 Add, Style, Background, Attribute, Replace, Action, Compose 능력을 개념별로 학습하고 평가하는 시나리오
Smile, Smirk, Laugh 또는 Finger Heart처럼 서로 가까운 세부 편집 개념의 지시 따르기 성능을 분리 측정하는 시나리오
여러 국소 영역을 동시에 수정하는 복합 편집 데이터로 학습 샘플당 편집 신호를 늘리고 수렴에 필요한 데이터 규모를 줄이는 시나리오
VQA 질문과 CoT 검증을 이용해 합성 편집 결과의 국소 artifact, 텍스트 오류, 얼굴·객체 보존 실패를 걸러내는 데이터 정제 시나리오

코드 공개 여부: 공개

코드 저장소 보기

키워드

Text-to-Image diffusion models(텍스트-이미지 확산 모델)Edit Concept Scaling(편집 개념 확장)Dense Supervision(밀집 감독)ConceptEdit-12M(ConceptEdit 12M 데이터셋)ConceptEdit-Bench(ConceptEdit 벤치마크)VQA Filtering(VQA 필터링)

용어 해설

밀집 감독(Dense Supervision): — 이미지의 일부 영역만 바꾸는 편집 학습에서 여러 개의 비간섭 편집을 하나의 학습 쌍에 결합하는 방식입니다. 수정 영역을 넓혀 한 번의 순전파에 더 많은 변환 신호를 제공하고, 배경 보존에 치우치는 학습을 줄이는 데 목적이 있습니다.
VQA 필터링(VQA Filtering): — Vision-Language Model이 이미지와 편집 지시를 질문·답변 형태로 점검하는 품질 검증 절차입니다. 각 사례에 맞춘 질문으로 변경된 영역과 국소적 오류를 확인한 뒤, 품질이 낮은 합성 쌍을 제거하거나 지시문을 다시 작성합니다.
분포 붕괴(Distribution Collapse): — 생성 데이터가 가능한 편집 개념 전체에 고르게 퍼지지 않고 소수의 유형에 집중되는 현상입니다. 논문에서는 무작위 VLM 지시 생성으로 Style Transfer 상위 5개 스타일이 전체 지시의 74.6%를 차지해 장 tail 개념의 학습 노출이 줄어드는 문제를 가리킵니다.
계층형 분류 체계(Hierarchical Taxonomy): — 넓은 편집 범주를 여러 단계의 세부 개념으로 나누어 관리하는 구조입니다. ConceptEdit는 사람·객체·시점·스타일·속성 등의 상위 범주 아래에 finger heart, confused, camera shift 같은 1,000개 이상의 세부 편집 개념을 배치합니다.

편집 개념 확장과 밀집 감독으로 이미지 편집 성능 높이기

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드