Qwen-Image-Agent: 실제 환경 이미지 생성에서 컨텍스트 갭을 해소하는 에이전트형 프레임워크

실세계 이미지 생성 요청은 종종 불완전하거나 암시적이며 최신 사실을 요구하므로 단일 프롬프트 기반 T2I 모델로는 정확한 결과를 얻기 어렵다. 컨텍스트 갭을 명시적으로 규정하면 누락된 정보를 식별하고 외부 검색·추론·메모리를 동원해 생성 컨텍스트를 완성할 수 있다. 이 논문은 해당 문제에 대한 통합적 해결책과 이를 평가하는 체계적 벤치마크를 동시에 제시해 실무 적용 가능성을 높였다.

문제 출발점은 텍스트-투-이미지 모델들이 '완전하게 명시된 프롬프트'를 전제로 최적화되었다는 점이다. 사용자는 실세계에서 요구를 불완전하게 제시하거나 최신 사실·시각적 레퍼런스를 요구하는데, 이 차이가 바로 컨텍스트 갭으로 귀결되어 단일 패스 렌더링이 충분하지 않다. 따라서 프롬프트를 단순히 더 길게 만드는 대신 누락된 정보를 식별하고 적절한 소스에서 보완하는 에이전트적 절차가 필요하다.

Qwen-Image-Agent는 두 개의 주요 모듈로 구성된다. 첫째, Context-Aware Planning은 정보수준(Information-level)에서 누락 항목을 질의로 추출하고 각 질의를 Reason/Search/Memory/Feedback 전략으로 라우팅한다. 둘째, Context Grounding은 해당 전략별로 구체 정보를 수집·정제해 content-level planning이 사용할 수 있는 generation context로 조립한다. Context-Aware Planning의 작동 방식은 세 수준으로 구분된다. 정보수준은 누락 정보를 명시적 질문으로 변환해 그라운딩 방법을 결정하고, 콘텐츠수준은 그라운딩 결과를 모아 상세 프롬프트(주제, 속성, 레이아웃, 스타일, 텍스트)를 재작성하며, 생성수준은 멀티턴·멀티이미지 시나리오에서 컨텍스트 분배와 길이 관리를 수행한다. 멀티이미지의 경우 병렬·순차·하이브리드 의존성을 고려해 각 이미지에 필요한 서브컨텍스트를 할당한다. Context Grounding은 네 가지 출처를 사용한다. Reasoning은 VLM을 이용해 암시적 의도를 추론해 구체 항목으로 변환하고, Search는 웹·이미지 검색으로 정밀 사실이나 IP 레퍼런스를 확보하며 라벨링·요약을 거친다. Memory는 대화 역사와 사용자 프로필, 외부 텍스트·비주얼 지식베이스의 멀티모달 검색 결과를 통합해 장기 문맥을 보존하고, Feedback은 생성 결과를 체크리스트로 평가해 실패 항목을 다음 생성 조건으로 환원한다. 에이전트의 확률적 형식화는 에이전트 경로 τ에 기반해 p_agent(y|c_u)=Σ_τ p(τ|c_u) p_gen(y|c_g=c(τ))로 표현된다. 이 수식은 에이전트가 생성 컨텍스트를 구성하는 일련의 상태·행동·관찰 궤적을 통해 최종 렌더링 조건을 결정함을 수학적으로 명시한다.

IA-Bench는 730개 인스턴스와 1801개 체크리스트 항목으로 구성되며 체크리스트 기반의 Pass Rate와 Checklist Accuracy를 사용해 성능을 측정한다. Qwen-Image-Agent는 IA-Bench에서 전체 IA-score 45.4를 기록했고 Qwen-Image-2.0 기반의 직접 생성 대비 IA-score가 17.4에서 45.4로 크게 향상되었다. 이 수치는 에이전트적 컨텍스트 구성과 그라운딩이 복합 제약을 요구하는 실세계 과제에서 실질적 성능 이득을 가져옴을 의미한다. WISE-Verified와 MindBench에서도 Qwen-Image-Agent가 최고 성능을 달성했고 실험 표에서는 Plan·Reason·Search·Memory 각 차원에서 다른 agentic 방법과 직접 생성 방법을 능가한 결과가 보고되었다. 제거 실험에서 Reason 컨텍스트 제거는 Reason과 Plan 점수를 동시에 낮추었고 Search 제거는 Search 점수를 급락시켰으며 Memory 제거는 다중 턴 일관성 측면에서 큰 손실을 초래했다. 또한 MLLM 백본 교체와 생성기 백본 교체 실험은 MLLM 지능과 렌더러 능력이 파이프라인 전체 성능에 결정적 영향을 미친다는 사실을 수치로 확인했다.

전체 아키텍처는 두 계층 모듈로 구성되며 Context-Aware Planning과 Context Grounding이 상호작용해 generation context를 만든다. 계획 모듈은 정보수준에서 누락 항목을 질문화하고 라우팅한 뒤 콘텐츠 수준에서 컨텍스트를 편집해 상세 프롬프트를 생성하며 생성수준에서 멀티턴·멀티이미지 컨텍스트 할당과 길이 관리를 수행한다. 이 흐름은 최종적으로 p_gen에 의해 렌더링되는 완전한 generation context를 구성하는 구조적 파이프라인이다. 핵심 메커니즘은 소스별 그라운딩 파이프라인이다. Reason은 VLM을 호출해 암시적 제약을 도출하고 이를 체크리스트 항목으로 변환한다. Search는 웹 검색과 이미지 검색을 통해 정밀 사실과 시각 레퍼런스를 수집하며 검색 결과 요약과 VLM 기반 랭킹을 거쳐 신뢰도가 높은 후보만 선택한다. Memory는 대화 역사와 외부 멀티모달 인덱스에서 관련 아이템을 검색해 사용자 맞춤 컨텍스트로 통합한다. 평가와 피드백 루프는 생성 이후 VLM으로 체크리스트 항목을 검증하고 실패 항목을 feedback context로 환원해 다음 라운드의 content-level planning에 반영한다. 벤치마크 지표는 Pass Rate와 Checklist Accuracy이며 전체 IA-score는 Plan·Reason·Search·Memory에 가중치 0.3·0.3·0.3·0.1을 적용해 종합 점수를 산출한다. 구현 세부사항으로는 MLLM 백본으로 GPT-5.5-0424 사용, 생성·편집 백본으로 Qwen-Image-2.0 사용, 웹 검색·이미지 검색은 각각 Google Search API로 텍스트·이미지 검색 결과 상위 5개를 수집하는 제한을 두었다. 시스템은 DAG 기반의 정보·생성 수준 병렬 실행을 도입해 가능한 작업을 병렬화하고 최대 3회의 피드백 반복을 허용함으로써 성능·비용 균형을 맞추었다. 또한 멀티턴에서 컨텍스트 폭발을 완화하기 위해 관련성 기반 컨텍스트 선택을 수행해 이미지 토큰 누적을 제한한다.

논문은 여러 명시적 한계를 보고했다. 첫째, 일부 사용자 사례에서 컨텍스트 갭이 지나치게 암묵적이어서 MLLM이 누락을 식별하지 못하면 전체 파이프라인이 실패한다는 한계가 확인되었다. 둘째, Reason과 Search의 경계가 불분명해 사실이 파라메트릭 지식으로 해결가능한지 외부 검색이 필요한지 판단 오류가 발생하면 불필요한 검색 비용이나 부정확한 정보 도입으로 이어진다. 셋째, 과도한 이미지 검색은 편집 모델의 취약성과 결합되어 최종 결과에 유해한 시각적 바이어스를 유발할 수 있고 멀티턴에서는 이미지 토큰 누적으로 인한 컨텍스트 폭발 문제가 존재한다. 넷째, 현행 피드백 신호는 VLM 기반 체크리스트에 의존하므로 특정 작업에 맞춘 명시적 감독 신호가 없는 경우 피드백의 개선 효과가 제한적이다. 다섯째, 전체 에이전트 파이프라인은 단일 패스 렌더링보다 지연과 비용이 크게 증가하므로 지연 민감 환경에서는 추가 최적화가 필요하다.