Unify-Agent: 세계 지식에 기반한 이미지 합성을 위한 통합 멀티모달 에이전트

기존 이미지 생성 AI는 학습 데이터에 없는 희귀한 캐릭터나 실존 인물을 그릴 때 외형을 왜곡하는 '환각' 문제를 겪습니다. 이 논문은 AI가 스스로 인터넷을 검색해 정확한 정보를 찾아내고 이를 바탕으로 정교한 이미지를 생성하는 '에이전트형' 방식을 도입하여, 실무에서 요구되는 팩트 기반 이미지 생성의 한계를 극복했습니다.

기존의 이미지 생성 모델은 신경망 내부에 고정된 '파라미터 기억'에만 의존한다. 이로 인해 학습 데이터에 적게 포함된 희귀한 개체나 최신 정보를 요청받으면, 모델은 자신이 아는 유사한 개념으로 대체하거나 엉뚱한 이미지를 생성하는 'Identity Drift' 문제를 겪는다. 이는 마치 시험 문제를 풀 때 아는 내용이 없어서 대충 짐작해서 답을 적는 것과 같다.

Unify-Agent는 이를 해결하기 위해 '오픈북' 방식을 도입한다. 먼저 모델은 프롬프트를 분석하여 자신의 내부 지식만으로 충분한지 판단(Think)한다. 부족하다고 판단되면 외부 도구를 사용해 관련 텍스트와 이미지 증거를 수집(Research)한다. 이는 학생이 모르는 문제를 풀기 위해 교과서를 찾아보는 과정과 유사하다.

핵심은 수집된 정보를 처리하는 방식에 있다. 단순히 검색 결과를 프롬프트에 붙이는 대신, 모델은 수집된 이미지에서 핵심 시각 특징을 추출하고 이를 텍스트 설명으로 다시 작성(Recaption)한다. 이 과정에서 VAE의 저수준 픽셀 정보와 ViT의 고수준 의미 정보를 결합하여, 개체의 고유한 외형은 유지하면서도 사용자가 원하는 새로운 장면(포즈, 배경 등)에 자연스럽게 녹여낸다. 결과적으로 모델은 외부 지식을 '이해'하고 이를 바탕으로 '창조'하는 능력을 갖추게 된다.

전체 구조는 Bagel 모델을 기반으로 하며, Mixture-of-Transformers(MoT) 아키텍처를 통해 멀티모달 이해와 이미지 생성을 하나의 모델 내에서 통합 처리한다. [입력 프롬프트 x → 인지적 공백 g 생성 → 텍스트/이미지 증거 수집 → 구조화된 리캡션 c 생성 → 최종 이미지 y 합성]의 순차적 확률 모델링을 수행한다.

Cognitive Gap Detection 단계에서는 프롬프트에서 시각적으로 중요한 속성(얼굴 구조, 헤어스타일 등)이 누락되었는지 평가한다. [프롬프트 x → 언어 모델 헤드 연산 → 지식 단위 M(x) 추출] 과정을 통해 외부 검색 필요 여부를 결정하며, 이는 모델이 무분별한 검색 대신 필요한 경우에만 자원을 사용하도록 최적화한다.

Evidence-Grounded Recaptioning은 검색된 원시 데이터를 생성용 명세서로 변환한다. [검색된 텍스트/이미지 → ViT/VAE 인코딩 → 텍스트 디코딩 → 정체성 보존 제약식 및 장면 구성 제약식 포함 리캡션 c]를 생성한다. 이 리캡션은 최종 생성 단계에서 노이즈가 섞인 검색 이력을 차단하고 정제된 가이드라인 역할만 수행하게 하여 생성 품질을 높인다.

학습 시에는 Hybrid Attention Masking 전략을 사용한다. [텍스트 토큰 → Causal Masking 적용 → 시계열적 논리 유지]를 수행하고, [참조 이미지 토큰 → Full Attention 적용 → 전역적 특징 추출]을 돕는다. 마지막 [이미지 생성 토큰 → 제한적 마스킹 적용 → 리캡션과 참조 이미지에만 집중]하게 하여 생성된 이미지가 외부 지식에 정확히 고정되도록 한다.

자체 구축한 FactIP 벤치마크에서 Unify-Agent는 종합 점수 73.2점을 기록하며, 베이스 모델인 Bagel(50.9점) 대비 약 22점 이상의 성능 향상을 보였다. 특히 개체의 정체성을 얼마나 잘 유지하는지 측정하는 Relevance 지표에서 압도적인 우위를 점했다.

WiSE, KiTTEN, T2I-FactualBench 등 기존의 주요 팩트 체크 벤치마크에서도 오픈소스 통합 모델 중 최고 수준(SOTA)을 달성했다. 특히 문화적 지식(0.82)과 생물학적 지식(0.72) 영역에서 강점을 보이며 폐쇄형 상용 모델의 성능에 근접했다.

Ablation Study 결과, 이미지 검색을 제외할 경우 Relevance 점수가 72.4에서 50.8로 급락하는 것이 확인되어, 텍스트 정보만으로는 정교한 시각적 정체성을 복원하는 데 한계가 있음이 증명됐다. 또한 리캡션 과정을 생략하고 원시 데이터를 직접 주입할 경우 생성 품질이 62.9점으로 하락하여 리캡셔닝의 중요성을 입증했다.

Unify-Agent는 Bagel-14B를 백본으로 사용하며, SigLIP-SO400M-14(ViT)와 FLUX VAE를 결합한 구조를 취한다. 텍스트 이해는 자동 회귀(Autoregressive) 방식으로, 이미지 생성은 Rectified Flow 기반의 잠재 공간 회귀 방식으로 학습된다. 두 과정은 별도의 손실 함수를 통해 최적화되지만 단일 포워드 패스 내에서 공동 최적화가 가능하다.

학습 데이터는 Claude 4.6과 GPT-4o를 교사 모델로 활용하여 구축되었다. 특히 Reject-sampling 전략을 도입하여, 생성된 리캡션으로 이미지를 합성했을 때 원본 개체와 일치하지 않으면 해당 궤적을 과감히 삭제함으로써 학습 데이터의 신뢰도를 확보했다. 최종적으로 143K개의 고품질 궤적-이미지 쌍이 학습에 사용됐다.

아키텍처 측면에서 VAE의 저수준 잠재 변수(Latents)는 색상, 질감, 국소 구조를 보존하고, ViT의 고수준 토큰은 전역적 문맥과 개체 정체성을 인코딩한다. 이 두 정보의 시너지는 모델이 리캡션 단계에서 시각적 단서를 정확히 텍스트로 변환하고, 생성 단계에서 이를 다시 픽셀로 복원하는 능력을 극대화한다.

현재 오픈소스 기반 모델은 여전히 최강의 폐쇄형 모델에 비해 긴 컨텍스트 처리 능력이 부족하며, 현재의 워크플로우는 단일 패스(One-pass) 방식에 국한되어 있어 다단계 검색이나 반복적 수정과 같은 복잡한 에이전트 행동으로의 확장이 필요하다.