Meta-CoT: 이미지 편집의 세밀함과 일반화 능력을 강화하는 계층적 사고 체인

기존의 이미지 편집 AI는 특정 작업에만 특화되거나 복잡한 명령어를 처리할 때 세부 사항을 놓치는 한계가 있었다. Meta-CoT는 편집 의도를 최소 단위인 '메타 작업'으로 분해하여 학습함으로써, 한 번도 본 적 없는 복잡한 편집 명령도 논리적으로 추론하고 정확하게 실행할 수 있게 한다.

기존의 이미지 편집 모델은 '거실에 소파를 추가하고 벽지를 파란색으로 바꿔줘'와 같은 복잡한 명령을 받을 때, 전체적인 맥락은 파악하지만 각 객체에 어떤 연산을 적용해야 하는지 세밀하게 계산하지 못하는 경우가 많다. 이는 모델이 편집 과정을 하나의 통으로 처리하려 하기 때문에 발생하는 문제로, 복잡한 공간적/논리적 관계가 얽힐수록 Self-Attention 메커니즘이 핵심 편집 대상을 정확히 타격하지 못하게 된다.

Meta-CoT는 이를 해결하기 위해 편집 과정을 '원자 단위'로 쪼갠다. 먼저 Triplet Decomposition을 통해 무엇을(Target), 어떻게(Task) 할지 정의하고, 이를 수행하기 위해 필요한 시각적 정보(Understanding)를 명시적으로 나열한다. 이는 마치 사람이 복잡한 문제를 풀 때 단계별 계획을 세우는 것과 유사하며, 모델의 가중치가 특정 객체와 연산의 관계에 더 집중할 수 있도록 가이드라인을 제공한다.

특히 Meta-task Decomposition은 수학의 기저(Basis) 개념을 차용한다. 수많은 편집 종류가 결국 '추가', '삭제', '교체' 등의 조합임을 이용해, 모델에게 이 기초 연산들을 완벽히 학습시킨다. 결과적으로 모델은 학습 데이터에 없던 새로운 조합의 명령이 들어와도 자신이 배운 기초 연산들을 논리적으로 조합하여 문제를 해결하는 일반화 능력을 갖추게 된다.

Meta-CoT의 핵심 방법론은 2단계 계층적 분해와 일치성 기반의 강화학습으로 구성된다. 첫 번째 단계인 Triplet Decomposition은 입력된 명령어를 (Task, Target, Understanding) 삼중조로 변환한다. [자연어 명령어 입력 → LLM 기반 파싱 → 구조화된 삼중조 출력] 과정을 거쳐 모델이 편집의 목적과 대상을 명확히 구분하게 한다.

두 번째 단계인 Meta-task Decomposition은 'Task' 요소를 다시 5가지 기본 메타 작업(Addition, Deletion, Replacement, Camera Motion, Position Change)으로 세분화한다. [구조화된 Task 입력 → 메타 작업 조합으로 치환 → 실행 순서 결정] 순으로 연산이 진행되며, 이는 복잡한 편집을 단순 연산의 선형 결합으로 단순화하여 모델의 학습 복잡도를 낮추는 역할을 한다.

학습 과정에서는 SFT(Supervised Fine-Tuning) 이후 GRPO(Group Relative Policy Optimization) 알고리즘을 사용한 강화학습을 수행한다. 이때 CoT-Editing Consistency Reward를 적용하는데, [CoT 텍스트와 편집된 이미지 입력 → VLM(Qwen2.5-VL) 평가 → 0~10점 사이의 일치성 점수 산출] 과정을 통해 모델이 자신의 추론 결과에 부합하는 이미지를 생성하도록 최적화한다.

21개 작업으로 구성된 벤치마크 실험 결과, Meta-CoT는 기본 모델(Bagel) 대비 15.8%의 성능 향상을 기록하며 종합 점수 6.415점을 달성했다. 특히 Instruction Following(지시 이행) 능력에서 가장 큰 폭의 개선이 확인되었는데, 이는 계층적 분해 방식이 모델의 의미론적 이해도를 높였음을 증명한다.

Ablation Study에서는 메타 작업 학습의 효율성이 입증되었다. 단 5개의 메타 작업으로만 학습한 모델이 전체 작업을 모두 학습한 모델과 대등한 수준의 일반화 성능을 보였다. 또한, 강화학습 단계에서 CEC Reward를 추가했을 때 ImgEdit 데이터셋에서 11.7%의 추가 성능 향상이 나타나, 사고 과정과 편집 결과의 정렬이 실제 품질 향상에 직결됨을 확인했다.

Meta-CoT 아키텍처는 Unified Multimodal Transformer를 기반으로 하며, 추론(Reasoning)과 생성(Generation) 전문가를 분리하여 학습하는 전략을 취한다. SFT 단계에서는 1.5M 규모의 이미지-지시어-CoT 데이터셋을 사용하여 모델이 Triplet 구조를 이해하도록 학습시킨다. 이때 시각적 이해 능력을 보존하기 위해 LLaVA-OV 등에서 추출한 100k 규모의 이해 전용 데이터를 혼합하여 학습한다.

강화학습 단계에서는 Flow-GRPO를 채택하여 모델의 정책을 업데이트한다. 보상 함수인 CEC Reward는 VLM을 활용해 (1) CoT에서 언급된 대상이 이미지에 존재하는지, (2) 지시된 연산이 정확히 수행되었는지를 검증한다. 특히 Flow Matching 모델의 특성을 고려하여, 시각적 충실도가 결정되는 초기 디노이징 타임스텝에 최적화를 집중함으로써 노이즈 아티팩트를 방지하고 의미론적 정렬을 극대화했다.

텍스트 편집(Text Editing) 작업에서는 성능 향상이 미미하거나 오히려 저하되는 경향을 보였다. 이는 복잡한 텍스트 추론 과정이 모델의 정확한 텍스트 렌더링 능력을 방해하거나 간섭을 일으키기 때문으로 분석되며, 향후 텍스트 지각 능력을 보존하면서 추론을 수행하는 메커니즘 연구가 필요하다.