ETCHR: 추론을 명료화하고 활용하기 위한 이미지 편집

다중모달 대형언어모델은 시각적 추론 능력을 향상시키는 점에서 진전을 보였으나, 텍스트 체인-오브-생각만으로는 미세한 시각 변화나 시점 전이를 필요로 하는 문제를 해결하기 어렵다. ETCHR은 질문에 조건화된 전문 이미지 편집기와 추론 유용성 검증을 결합해 편집의 품질과 추론의 정확도를 함께 향상시키며, 이해 모델의 재학습 없이도 다양한 오픈/클로즈드 소스 MLLMs에 연결 가능하도록 한다. 이를 통해 다섯 가지 문제 계열에서 일관된 성능 향상을 달성한다.

단락1: 문제 정의 및 한계 - 기존의 think-with-images 접근법은 여러 면에서 제한적이다. 언어-측면은 추론 문제를 시각적으로 변환할 적절한 편집으로 매핑하기 어렵고, 생성-측면은 다단계 추론에서 편집의 정합성이 떨어질 수 있다. 이러한 문제를 해결하기 위해 편집기를 이해 모델과 분리하고, 편집의 정합성과 추론의 혜택을 검증하는 순서를 도입한다. 단락2: 제안 원리 - ETCHR은 question-conditioned image editing을 통해 추론에 도움되는 시각 증거를 생성하고, Edit-Verify-Reason의 리플렉티브 추론으로 잘못된 편집이 최종 답변에 영향을 주지 않도록 한다. 또한, 두 단계 학습으로 편집기의 추론 능력을 높이고, VLM-유도 보상으로 편집의 유용성을 직접적으로 최적화한다. 단락3: 달라지는 점 - 기존 방식과 달리 편집기와 이해 모델의 학습/추론 분리를 통해 일반화성을 유지하면서도 각 백본에 맞춘 추론 보조를 가능하게 하며, 다섯 가지 task family에서 평균 Pass@1를 크게 향상시킨다.

단락1: 아키텍처 개요 - ETCHR은 입력 이미지 i와 질문 q를 받아 iedit = E(i, q)로 생성하는 질문-조건부 이미지 에디터를 두고, 고정된 이해 모델 M이 iedit와 q를 이용해 정답 a를 산출한다. 평가자로서 J를 두어 iedit의 시각 정보가 충분한지 판단한다. 단락2: Reasoning Imitation SFT - Task families(미세-인지, 차트 이해, 로직 추론, 퍼즐, 3D 이해)로 구성된 SFT 코퍼스를 만들고, q를 기반으로 에디터를 조건화하는 Trajectory를 수집하여 DiT를 LoRA로 768 차원의 랭크로 업데이트한다. 학습률 lr=1e-4, steps=30, s_cg=1.0 등을 사용한다. 단락3: Reasoning Enhancement RL - 5개 가족에서 2000 샘플씩 10,000 샘플의 RL 세트를 구성하고, C(i, iedit, q, a)=1일 때만 사용한다. 보상은 Editing Correctness r_correct와 Editing Guidance r_guide의 선형 결합으로 ℛ = α r_guide + β r_correct를 사용하고, Pref-GRPO로 정책을 최적화한다. α=β=0.5. 단락4: Edit-Verify-Reason - 추론 시퀀스에서 먼저 편집 제안을 만들고, 검증 모듈이 편집의 정합성을 판단, 통과 시에만 추론에 반영하고 실패 시 원본 이미지를 사용한다.

주요 벤치마크에서는 ETCHR이 baselines 대비 향상된 Pass@1를 보여준다. Qwen3-VL-8B 백본에서 평균 55.95에서 60.77로 +4.82 포인트 상승, Gemini-3.1-Flash-Lite에서 65.08에서 70.55로 +5.47 포인트 상승, Kimi K2.5에서 76.55에서 81.16로 +4.61 포인트 상승한다. Table 1의 각 백본별 성능은 Tool-based/프로그램적 모델이나 Unified 모델 대비 우수한 편이며, 4개의 Ablation Table에서 Reasoning Imitation SFT, Reasoning Enhancement RL, 그리고 Edit-Verify-Reason의 기여가 상호 보완적임이 확인된다. Table 2는 Closed-Source 편집기(NB2)와의 비교를 제시하며, ETCHR가 Perception, Chart, Logic, Jigsaw, 3D 등 주요 영역에서 유의미한 개선을 보인다. Table 3의 reflection 메커니즘 제거 실험은 검증 단계의 이득이 실험적으로 확인되며, Table 4의 두-stage 학습 레시피의 효과가 백본에 따라 다르게 나타난다. Table 5의 두 RL 보상 신호 중 결합이 가장 안정적이고 성능 향상에 기여한다는 점이 재확인된다.

단락1: 아키텍처 구조 - ETCHR은 입력 이미지 i, 질문 q, 편집 결과 iedit를 생성하는 이미지 에디터 E를 사용하며, 이때 E는 FRoM DiT를 사용하는 FLUX.2-klein-base-9B에 LoRA를 적용해 학습한다. 평가 모델 M은 고정되어 있으며, M의 정답 a와 i, iedit를 기반으로 보상을 평가한다. 단락2: 수학적/알고리즘적 기반 - Reasoning Imitation SFT는 입력과 ground-truth igT를 이용한 지도 학습으로 에디터의 파라미터를 조정하고, Reasoning Enhancement RL은 두 개의 보상 r_guide, r_correct의 합으로 RL 목표를 정의한다. 보상은 확률적 디코딩 환경에서 K개 샘플링된 디코딩의 평균으로 계산되며 win-rate 기반의 Pref-GRPO를 사용한다. 단락3: Prior work 대비 차별점 - 에디터를 독립 모듈로 두고, 추론용으로만 학습된 편집기가 아닌 질문-조건형 편집기로 학습한다. 제너레이션과 이해를 분리해 편집의 품질이 추론에 직접 영향을 주도록 한다. 단락4: 구현/학습 세부 - LoRA 랭크 768, lr=1e-4, sstep=30, G=8 등의 하이퍼파라미터를 사용하며, q에 ptask를 추가로 연결해 task-specific latent space를 형성한다. Edit-Verify-Reason 구성에서 Verifier는 편집의 정보가 질문에 필요한지 판단하고, 실패 시 원본으로 되돌린다.

논문이 명시한 한계로 GRPO 샘플링의 다양성 부족이 일부 구조적 편집에 한계를 보이고, 엔더 포워딩의 한계로 인해 최종 성능은 다운스트림 이해 모델의 한계에 의존한다. 또한 편집은 텍스트에 비해 시간 소요가 커서 짧은 CoT 상황에서 시간 오버헤드가 증가할 수 있다.