Gen-Searcher: 이미지 생성을 위한 검색 증강 에이전트 (8B 모델 및 SFT 모델 공개)

실용적 조언

최신 정보나 전문 지식이 필요한 이미지 생성 작업에는 Gen-Searcher와 같은 검색 증강 에이전트를 활용하는 것이 유리하다.
Qwen-Image와 같은 멀티모달 모델과 결합하여 성능을 극대화할 수 있다.

섹션별 상세

Gen-Searcher는 이미지 생성 전 멀티홉 웹 검색과 이미지 검색을 수행하는 멀티모달 에이전트이다. 모델은 파라미터 메모리만으로 처리하기 어려운 최신 정보나 지식 집약적 정보를 수집하도록 학습됐다. 수집된 텍스트 사실과 참조 이미지를 바탕으로 이미지 생성기를 위한 접지된 프롬프트를 생성한다.

Gen-Searcher 모델이 검색한 정보와 이를 바탕으로 생성한 다양한 이미지 결과물들을 보여주는 이미지이다. — Infographic모델이 특정 광물(Cumengeite), 식물(Catopsis), 복잡한 과학 다이어그램 등을 검색을 통해 정확히 파악하고 이미지로 구현했음을 입증한다. 텍스트만으로는 표현하기 힘든 세부적인 시각적 특징들이 검색 증강을 통해 어떻게 보완되는지 시각적으로 보여준다.

연구진은 모델 학습을 위해 Gen-Searcher-SFT-10k와 Gen-Searcher-RL-6k라는 두 가지 전용 데이터셋을 구축했다. 학습 과정은 지도 미세 조정(SFT)을 거친 후, 텍스트 및 이미지 기반 보상을 모두 사용하는 에이전트 강화학습(RL)을 적용했다. 이러한 파이프라인을 통해 검색 결과와 생성 이미지 간의 정렬 성능을 극대화했다.

검색 의존적 이미지 생성을 평가하기 위해 KnowGen이라는 새로운 벤치마크를 도입했다. 실험 결과, Qwen-Image와 결합했을 때 KnowGen에서 약 16점, WISE 벤치마크에서 15점의 성능 향상을 기록했다. 이 방식은 특정 생성기에 국한되지 않고 다른 이미지 생성 모델로의 전이 가능성도 입증됐다.

용어 해설

검색 증강 생성(Search-Augmented Generation): — 모델 내부의 파라미터에 저장된 지식에만 의존하지 않고, 외부 데이터베이스나 웹에서 실시간으로 관련 정보를 검색하여 생성 과정에 주입하는 기술이다. 이를 통해 최신 정보 반영이 가능해지며 지식 부족으로 인한 환각 현상을 획기적으로 줄일 수 있다.
멀티홉 검색(Multi-Hop Search): — 단일 검색 쿼리로 해결되지 않는 복잡한 질문에 대해, 첫 번째 검색 결과에서 얻은 단서를 바탕으로 후속 검색을 연쇄적으로 수행하는 지능형 검색 방식이다. 정보 간의 연결 고리를 추적하여 더 깊이 있고 정확한 맥락을 파악하는 데 필수적이다.
지도 미세 조정(SFT): — 사전 학습된 모델을 특정 작업이나 도메인에 최적화하기 위해 고품질의 레이블링된 데이터를 사용하여 추가로 학습시키는 과정이다. 모델이 사용자의 의도를 더 잘 이해하고 에이전트로서의 기본 동작을 수행할 수 있도록 지침을 제공하는 역할을 한다.
KnowGen: — 검색 증강 이미지 생성 모델의 지식 정확도와 생성 품질을 평가하기 위해 새롭게 제안된 벤치마크 데이터셋이다. 모델이 외부 지식을 얼마나 효과적으로 검색하고 이를 이미지 생성 프롬프트에 정확하게 반영하는지를 측정하는 지표로 활용된다.

언급된 도구

Gen-Searcher추천

Search-augmented image generation agent

Qwen-Image중립

Base image generation model

언급된 리소스

GitHubGen-Searcher Hugging Face

논문Gen-Searcher Paper

문서Gen-Searcher Project Page