이미지 편집 모델에서의 시각적 계획 능력 탐사

기존의 AI 시각 추론은 주로 텍스트 기반의 단계별 생성에 의존하여 연산 효율이 낮았으나, 이 논문은 시각적 계획을 단일 단계의 이미지 편집 작업으로 재정의하여 효율성을 높였습니다. 추상적 퍼즐 데이터셋인 AMAZE를 통해 현재 모델들이 가진 기하학적 불변성과 논리적 추론 능력의 한계를 명확히 규명했습니다.

기존의 시각 추론 모델은 텍스트로 상황을 설명하거나 여러 장의 이미지를 순차적으로 생성하며 답을 찾아가는 방식을 사용했다. 이는 마치 사람이 미로를 한 칸씩 그려가며 고민하는 것과 같아 연산량이 많고 비효율적이다. 본 논문은 이미지 편집 모델이 이미 학습한 공간적 전역 정보를 활용해, 입력된 미로 이미지 위에 정답 경로를 한 번에 덧칠하는 '편집' 방식으로 문제를 해결할 수 있다는 점에 착안했다.

이 과정에서 모델은 이미지 전체의 픽셀 간 관계를 파악하는 Attention 메커니즘을 활용한다. 특히 Diffusion 기반 모델은 노이즈를 제거하는 반복 과정에서 이미지의 전체적인 구조를 먼저 잡고 세부 경로를 다듬는 특성이 있어, 순차적으로 토큰을 생성하는 Autoregressive 모델보다 전역적인 제약 조건을 만족해야 하는 퍼즐 해결에 더 유리한 모습을 보였다.

결과적으로 미세 조정을 거친 모델은 학습하지 않은 복잡한 기하학적 구조의 미로에서도 정답을 찾아내는 일반화 능력을 보여주었다. 이는 모델이 단순히 특정 패턴을 암기하는 것이 아니라, 시각적 공간 안에서 경로를 탐색하는 기초적인 논리 구조를 내면화할 수 있음을 시사한다.

시각적 계획 문제를 단일 단계 이미지 편집 작업으로 정의하는 EAR(Editing-as-Reasoning) 프레임워크를 사용한다. 모델은 원본 퍼즐 이미지와 '시작점과 끝점을 연결하라'는 지시문을 입력받아, 정답이 표시된 최종 이미지를 직접 생성한다. 이 방식은 단계별 생성이 필요 없으므로 추론 속도가 매우 빠르다.

평가를 위해 AMAZE 데이터셋을 사용하며, 이는 국소적 제약 조건 하의 순차 계획인 Maze와 전역적 제약 조건 하의 조합 계획인 Queen 문제로 나뉜다. Maze는 원형, 육각형, 사각형, 삼각형 등 다양한 기하학적 구조를 포함하며, Queen은 4x4부터 10x10까지의 스케일을 다룬다.

성능 측정은 두 가지 축으로 이루어진다. 첫째, 픽셀 단위의 정확도를 측정하는 Pixel-wise Fidelity(MSE)이다. 둘째, 논리적 타당성을 측정하는 PASS 지표이다. PASS는 모델이 생성한 경로가 정답 경로를 얼마나 포함하는지(Coverage)에서 벽을 뚫거나 규칙을 어긴 비율(Violation)을 뺀 값으로 계산된다. [PASS = max(0, Coverage - Violation)] 연산을 통해 1에 가까울수록 완벽한 논리적 해답임을 의미한다.

최신 상용 모델(GPT-Image-1 등)과 오픈소스 모델 모두 Zero-shot 환경에서는 시각적 계획 작업에 큰 어려움을 겪었다. 특히 GPT-Image-1은 미로의 벽을 무시하고 경로를 생성하는 Violation 비율이 62.88%에 달했다. 반면, 3x3 크기의 단순한 미로 데이터로 Fine-tuning을 진행한 Bagel 모델은 11.54%의 PASS@1 성적을 거두며 상용 모델을 앞질렀다.

Diffusion 기반 모델이 Autoregressive 모델보다 우수한 성능을 보였다. Fine-tuning 후 Bagel(Diffusion)은 Maze와 Queen 모두에서 Janus-Pro(Autoregressive)를 압도했다. 이는 Diffusion의 점진적 노이즈 제거 과정이 전역적인 구조 파악에 더 적합하기 때문으로 분석된다. 또한, 육각형 미로에서 학습한 모델이 사각형이나 삼각형 미로로 더 잘 일반화되는 비대칭적 전이 학습 현상이 관찰되었다.

인간과의 비교 실험에서 Fine-tuned 모델은 6세 아동 수준의 추론 능력을 보였으나, 성인(18세)의 즉각적인 시각 추론 능력에는 크게 미치지 못했다. NVIDIA RTX 5090을 사용한 최신 모델조차 인간의 직관적인 공간 인지 속도와 정확도를 따라잡지 못해 여전히 큰 성능 격차가 존재함을 확인했다.

본 연구는 시각적 계획을 '이미지 편집'으로 치환하여 모델의 내재된 공간적 사전 지식(Spatial Priors)을 추출한다. Diffusion 모델의 경우, t=1에서 t=10으로 가는 역과정(Denoising)을 분석한 결과, 초기 단계에서 전체적인 경로의 윤곽을 잡고 후반부에서 세부적인 제약 조건을 맞추는 'Coarse-to-fine' 전략이 자연스럽게 발현됨을 확인했다.

학습 데이터 스케일링 실험 결과, 데이터 양(N)을 800에서 1600으로 늘릴 때 성능 향상이 뚜렷했으나 그 이후에는 수렴하는 경향을 보였다. 반면 학습 단계(Steps)를 늘리는 것은 지속적인 성능 향상을 가져왔으며, 이는 모델이 복잡한 논리적 제약을 학습하기 위해 충분한 최적화 시간이 필요함을 의미한다.

기하학적 일반화 측면에서, 더 많은 이동 방향을 가진 육각형(Hexagon) 미로 학습이 사각형(Square) 학습보다 타 도메인 전이 성능이 높았다. 이는 복잡한 액션 공간(Action Space)에서의 학습이 더 견고한 경로 탐색 로직을 형성하게 함을 시사한다.

모델이 로컬한 경로는 잘 생성하지만, 미로의 규모가 커질수록 시작점과 끝점을 연결하는 장거리 의존성(Long-distance dependency) 해결에 실패하는 경우가 많다. 또한 인간과 달리 시간 예산을 더 많이 투입해도 성능이 비례해서 향상되지 않는 한계가 관찰되었다.