스케일에서 속도로: 이미지 편집을 위한 적응형 테스트 시간 스케일링

이미지 편집은 단순히 그림을 그리는 것과 달리 원본 이미지와 지시어라는 명확한 제약 조건이 존재한다. 이 논문은 편집의 난이도를 스스로 판단해 계산 자원을 다르게 배분하고, 결과가 좋으면 즉시 멈추는 방식을 도입해 기존보다 2배 빠른 속도로 고품질 편집을 가능하게 했다.

확산 모델 기반의 이미지 생성은 노이즈에서 이미지를 복원하는 과정에서 여러 후보를 생성하고 최적을 선택하는 'Image-CoT' 방식을 통해 품질을 높인다. 하지만 기존 방식은 모든 작업에 동일한 횟수의 샘플링을 수행하므로, 간단한 편집 작업에서도 불필요하게 많은 계산 자원을 소모하는 한계가 있다. ADE-CoT는 편집 작업이 '목표가 명확한' 작업이라는 점에 착안하여 이 비효율성을 해결한다.

먼저 MLLM을 이용해 편집의 난이도를 점수화하고, 이에 비례하여 샘플링 개수를 조절한다. 또한 생성 중간 단계에서 'One-step Preview'를 통해 최종 결과물을 예측하고, 수정이 필요한 영역이 제대로 바뀌었는지와 설명글과 일치하는지를 수치화하여 가능성 없는 후보를 미리 쳐낸다. 마지막으로 모든 후보를 다 만들고 고르는 대신 하나씩 순차적으로 생성하면서 검증기가 충분하다고 판단하면 즉시 멈춘다. 이는 딥러닝의 추론 과정에서 불필요한 연산을 줄이면서도 사용자가 원하는 의도에 정확히 부합하는 이미지를 빠르게 얻을 수 있게 한다.

난이도 인지형 자원 할당 단계에서는 소스 이미지와 편집 지시어를 입력받아 MLLM이 초기 점수 $S$를 계산한다. [초기 점수 $S$와 최소/최대 예산 $N_{min}, N$을 입력으로] → [점수가 높을수록 예산을 줄이는 지수적 감쇠 연산을 수행해] → [최종 샘플링 개수 $N_a$를 얻고] → [이 숫자는 해당 편집 작업에 투입할 최적의 계산 자원량을 의미한다].

편집 특화 조기 검증 단계에서는 노이즈가 섞인 잠재 상태 $x_{t_e}$에서 한 단계로 최종 이미지를 예측하는 메커니즘을 사용한다. [현재 단계의 노이즈 텐서 $x_{t_e}$와 예측 노이즈 $\epsilon_\theta$를 입력으로] → [노이즈 스케일 $\sigma_{t_e}$만큼을 현재 상태에서 빼주는 연산을 수행해] → [예측된 클린 잠재 변수 $x_{0|t_e}$를 얻고] → [이는 전체 생성 과정을 거치지 않고도 미리 볼 수 있는 최종 이미지의 근사치를 의미한다].

영역 정확도 점수 $S_{reg}$ 산출을 위해 Grounded SAM2로 생성한 마스크 $M$을 활용한다. [편집 영역 마스크 $M$과 픽셀 변화량 맵 $\Delta$를 입력으로] → [변화량에 Softmax를 취해 가중치를 준 뒤 마스크와 원소별 곱셈을 수행해] → [영역 정확도 점수 $S_{reg}$를 얻고] → [이 값이 높을수록 의도한 영역 내에서만 정확하게 수정이 일어났음을 의미한다].

GEdit-Bench, AnyEdit-Test, Reason-Edit 등 3개 벤치마크에서 FLUX.1 Kontext, BAGEL, Step1X-Edit 모델을 대상으로 실험한 결과, ADE-CoT는 기존 Best-of-N 방식 대비 2배 이상의 속도 향상을 달성하면서도 동등하거나 더 높은 편집 품질을 보여주었다. 추론 효율성 지표인 $\eta$와 결과 효율성 지표인 $\xi$에서 모든 모델에 대해 SOTA 성능을 기록했다. 특히 GEdit-Bench에서 Best-of-N 대비 추론 효율성이 2.2배, 결과 효율성이 5.5배 향상되는 성과를 거두었다. Ablation Study를 통해 영역 정확도와 캡션 일치도를 결합한 검증 방식이 일반적인 MLLM 점수만 사용하는 것보다 고득점 영역에서의 오판율을 63% 감소시킴을 확인했다.

ADE-CoT는 이미지 편집을 위한 온디맨드 테스트 시간 스케일링 프레임워크로, 기존 T2I 중심의 Image-CoT가 가진 자원 낭비와 중복성 문제를 해결하기 위해 설계되었다. 핵심 기술인 One-step Preview는 Flow Matching 기반 모델에서 단일 스텝으로 $x_0$를 추정하여 조기 검증의 신뢰도를 높인다. 이는 확산 모델의 역과정 전체를 수행하지 않고도 중간 단계에서 품질을 예측할 수 있게 한다.

영역 검증($S_{reg}$)은 Grounded SAM2를 활용해 편집 대상 객체의 마스크를 생성하고, 픽셀 단위의 변화량 맵에 Softmax를 적용해 가중치를 부여함으로써 편집의 국소화(Localization) 정도를 정밀하게 측정한다. 인스턴스별 검증기는 고정된 프롬프트 대신 각 편집 지시어에서 5개의 구체적인 질문을 동적으로 생성하여 세밀한 오류를 잡아낸다. 구현 시 Qwen-VL-MAX를 MLLM 쿼리에 사용하고 VIE-Score를 일반 점수로 채택하여 견고성을 확보했다.

검증 과정에서 대규모 MLLM에 의존하기 때문에 추론 지연 시간(Latency)이 발생할 수 있는 연산 오버헤드가 존재한다. 또한 MLLM 자체의 환각(Hallucination) 현상으로 인해 잘못된 품질 평가를 내릴 가능성이 여전히 남아 있다.