통합 멀티모달 모델을 위한 의미 기반 생성 튜닝

다양한 모달을 하나의 프레임에서 다루는 UMMS의 학습은 이해와 생성 간의 상호 보완성을 약화시키는 신호 불일치를 야기한다. 본 연구는 고수준 시맨틱 태스크를 생성 프록시로 활용해 이해와 생성의 표현 공간을 맞추고 시너지를 끌어올린다. 이를 통해 표현 공간의 선형 분리성과 시각-텍스트 주의 분포가 개선되어 벤치마크 전반의 성능이 증가한다.

기본 아이디어는 이해를 위한 텍스트-이미지 매핑과 생성을 위한 이미지 합성을 같은 표현 공간에서 학습하도록 하는 것이다. 기존 방법은 이해에 텍스트 신호를, 생성에 픽셀/토큰 재구성 신호를 사용해 두 부분이 서로 떨어진Optimization 경로를 따른다. 이로 인해 두 능력이 상호 보완적으로 강화되기 어렵다. 본 연구는 피처 공간의 품질을 semantic 공간으로 끌어올리고, segmentation을 생성 프록시로 활용해 고수준 시맨틱 정보를 강조함으로써 두 영역을 하나의 정합된 공간으로 융합한다. 이로써 higher-level semantic 프롹시가 텍스트-이미지 정렬의 핵심 제어 변수가 되고, 시각-텍스트 attention이 구조적 의미에 집중하도록 만든다.

단계 1) UMM를 Dual-Encoder 구조로 구성하고, 입력 x에 대해 이해-생성-편집의 세 가지 기능을 담당하는 입력 조합을 정의한다. 단계 2) 시맨틱 프록시의 계층적 태스크 토폴로지(고/중/저수준)를 구성하고, 픽셀 재구성과 다르게 시맨틱 프록시를 목표로 삼도록 학습 objective L을 정의한다. 단계 3) 실험에서 segmentation을 중심 프록시로 택하고, SAM 데이터셋의 190k 샘플을 활용해 post-training으로 SGT를 적용한다. 단계 4) SFT 데이터(예: LLaVA-OneVision)와 결합해 전체 학습을 진행하고, 8개 벤치마크에서 이해 및 생성 성능의 상승을 확인한다. 수식/연산 흐름: y_hat를 시각적 타깃으로 두고, y = f_theta(x, [z_vit, z_noise])로 정의한 후 L = L(f_theta(x, [z_vit, z_noise]), y_hat) 형태로 최적화한다. 또한 고수준 프록시를 통해 visual encoder의 특징 공간이 semantic하게 정렬되도록 한다.

SGT-BAGEL, SGT-Gen2가 베이스라인을 상회하며 다수 벤치마크에서 우수한 성능을 달성했다. 예컨대 CV-Bench에서 BAGEL 대비 6.02% 포인트의 성능 향상을 보였고 GenEval에서 90.0점을 달성했다. Segmentation 데이터 규모를 2k에서 100k까지 확장했을 때 BAGEL은 +3.3%, OmniGen2는 +2.0%의 평균 점수 상승을 보였으며, 2:1의 Segmentation-to-VQA 비율이 eight 벤치마크에서 최적의 성능을 달성했다. 또한 깊은 transformer 계층에서 시각 토큰에 대한 attention이 증가하고, 객체/색상/관계 등 핵심 키워드 토큰에의 attention 집중이 강화되어 생성 품질과 일관성을 향상시켰다.

신경망 아키텍처 측면에서 ViT 기반의 시각 인코더(z_vit)와 VAE 기반 인코더(z_vae)로 구성된 듀얼 인코더 구조를 도입한다. 입력 x와 선택적 입력[z_vit]를 통해 이해(y ∈ T)를, [z_noise]를 통해 생성(y ∈ I)을, [z_vit, z_vae, z_noise]를 통해 편집(y ∈ I)을 얻도록 매핑한다. L는 L(f_theta(x, [z_vit, z_noise]), y_hat)으로 정의되며, 세부적으로는 고수준 시맨틱 태스크를 강화하기 위해 pixel-space reconstruction 대신 segmentation을 생성 프록시로 삼아 표현 공간의 정합성을 끌어올린다. 데이터 측면에서 SAM의 segmentation 샘플 190k개를 사용하고, SFT 데이터와 결합하여 500k 규모의 파인튜닝 샘플과 함께 post-training을 수행한다. attention 분석은 깊은 계층에서 시각 토큰에 대한 주의 집중이 증가하는지, 그리고 생성 단계에서 객체/색상/위치 등의 핵심 토큰에 대한 주의가 어떻게 조정되는지를 측정한다.

Segmentation 중심의 프록시만으로는 기호적/지식 중심 태스크에 한계가 있으며, 고도화된 지시적 생성이나 도메인 지식 활용이 필요한 경우 추가적인 이해 데이터 및 강화 학습 시나리오가 필요하다.