픽셀이 아닌 획으로 생각하기: 교차 추론을 통한 과정 중심 이미지 생성

기존 이미지 생성 모델이 복잡한 공간 관계나 논리적 명령을 한 번에 처리하지 못해 발생하는 오류를 해결하기 위해 인간의 화법을 모방한 단계적 생성 방식을 도입했다. 텍스트와 이미지가 서로 피드백을 주고받는 루프를 통해 생성 과정의 제어 가능성과 해석 가능성을 획기적으로 높였다.

기존의 이미지 생성 모델은 대규모 데이터를 통해 학습된 가중치를 이용해 단 한 번의 연산(Single Forward Pass)으로 전체 이미지를 완성하려 한다. 이는 마치 화가가 캔버스를 보지도 않고 머릿속으로만 구상하여 한 번에 사진 같은 그림을 찍어내는 것과 같아서, 객체 간의 복잡한 위치 관계나 세부 속성에서 논리적 오류가 발생하기 쉽다.

이 논문은 인간이 그림을 그릴 때 전체 구도를 잡고, 밑그림을 그린 뒤, 잘못된 부분을 찾아 수정하며 세부를 완성해가는 과정에 주목한다. 이를 위해 텍스트 토큰과 이미지 토큰을 동일한 시퀀스 상에서 처리하는 통합 멀티모달 모델을 활용하여, '텍스트로 계획 세우기 → 이미지 일부 그리기 → 생성된 이미지 검토하기 → 수정 계획 수립'이라는 루프를 형성한다.

결과적으로 모델은 각 단계에서 자신이 무엇을 그렸는지 시각적으로 인지하고, 그것이 원래의 명령과 일치하는지 스스로 판단한다. 이러한 '시각적 접지(Visual Grounding)' 과정이 반복되면서, 모델은 단순히 픽셀의 통계적 분포를 맞추는 것이 아니라 논리적인 인과 관계에 따라 이미지를 구성하게 된다.

전체 프로세스는 Plan → Sketch → Inspect → Refine의 4단계 사이클을 반복한다. Plan 단계에서는 전체 프롬프트와 현재까지의 맥락을 입력받아 다음에 추가하거나 수정할 구체적인 명령()과 장면 설명()을 텍스트로 생성한다. Sketch 단계에서는 이 계획에 따라 Rectified Flow 기반의 이미지 토큰을 생성하여 시각적 상태를 업데이트한다.

Inspect 단계에서는 생성된 이미지와 계획 간의 불일치를 감지한다. [현재 이미지와 텍스트 계획 입력 → VLM 기반의 자가 평가 수행 → 오류 여부 판단] 과정을 거쳐 불일치가 발견되면 Refine 단계로 진입한다. Refine 단계에서는 오류를 바로잡기 위한 수정 신호()를 내보내고 이미지를 다시 연마하여 최종적으로 프롬프트에 부합하는 결과물을 도출한다.

학습을 위해 Scene Graph를 활용한 데이터 파이프라인을 구축했다. [전체 장면 그래프 입력 → 부분 그래프 추출 → 단계별 프롬프트 생성 → 중간 이미지 합성] 순서로 데이터를 생성하여 모델이 논리적 일관성을 학습하게 했다. 또한 모델이 스스로의 실수를 인식하도록 하기 위해, 의도적으로 오류가 포함된 궤적을 샘플링하고 이에 대한 비판적 분석과 수정 지침을 포함하는 데이터셋으로 지도 학습(SFT)을 진행했다.

GenEval 벤치마크에서 기본 모델인 BAGEL-7B의 성능을 79%에서 83%로 끌어올렸으며, 특히 객체 위치(Position)와 색상 속성(Color Attributes) 부문에서 큰 폭의 개선을 보였다. 이는 12B 파라미터 규모의 FLUX.1-dev 모델과 대등하거나 이를 능가하는 수준이다.

세계 지식 추론 능력을 평가하는 WISE 벤치마크에서는 기존 70%에서 76%로 성능이 향상되었다. 특히 시간(Time)과 화학(Chemistry) 등 복잡한 개념적 이해가 필요한 영역에서 높은 정확도를 기록했다.

효율성 측면에서 기존의 강화학습 기반 방식인 PARM과 비교했을 때, 학습 데이터는 11배 적게 사용하면서도 추론 비용은 8배 절감했다. PARM이 1000단계의 샘플링을 필요로 하는 반면, 본 모델은 평균 131단계의 샘플링만으로 고품질 이미지를 생성했다.

본 연구는 통합 멀티모달 모델(Unified Multimodal Model)인 BAGEL-7B를 백본으로 사용하며, 텍스트와 이미지 토큰을 동일한 트랜스포머 아키텍처 내에서 자기회귀(Autoregressive) 방식으로 생성한다. 이미지 생성에는 Rectified Flow 패러다임을 채택하여 텍스트 조건부 노이즈 제거 과정을 수행한다.

핵심 차별점은 '세만틱 파티셔닝(Semantic Partitioning)'이다. 기존 연구들이 픽셀 수준의 노이즈 상태에서 검증을 시도했던 것과 달리, 본 모델은 객체와 관계가 명확히 드러나는 중간 시각 상태를 감독한다. 이를 위해 , , 과 같은 특수 토큰을 도입하여 양태 간 전환(Modality Transition)을 명시적으로 관리한다.

학습 손실 함수는 텍스트 세그먼트에 대한 Cross-Entropy Loss와 이미지 토큰에 대한 MSE Loss의 가중 합으로 정의된다. 특히 <|vision_start|>와 <|vision_end|> 토큰에 손실을 부여하여 모델이 텍스트 추론과 시각적 생성 사이를 매끄럽게 전환하도록 유도한다.

본 논문은 중간 상태의 모호성을 해결하기 위해 조밀한 감독을 제공하지만, 매우 복잡한 장면에서 중간 단계가 너무 많아질 경우 추론 시간이 길어질 수 있는 잠재적 한계가 있다. 또한 명시적으로 언급되지는 않았으나 정해진 4단계 루프 외의 예외적인 생성 궤적에 대한 강건성 문제는 추가 연구가 필요할 수 있다.