Uni-Edit: 통합 다중모달 모델 튜닝을 위한 일반 작업으로서의 지능형 편집

UMMs의 이해(Understanding)와 생성(Generation), 편집(Editing) 능력은 하나의 공유된 표현 공간에서 상호 강화되기 어렵다. 기존의 다중 태스크 학습은 데이터 혼합과 파이프라인 복잡성으로 인해 성능 트레이드오프를 유발했다. Uni-Edit은 지능형 편집이라는 일반 태스크를 제안하고, VQA 데이터를 추론이 필요한 편집 지시로 자동 합성하여 한 번의 학습 구성으로 세 가지 능력을 동시에 향상시킨다. 또한 Uni-Edit-148k를 통해 다양한 지식 영역을 포함하는 편집 지시를 확보하고, BAGEL 및 Janus-Pro에 적용해 다수 벤치마크에서 일관된 성능 향상을 확인했다.

단락1: 이해와 생성은 서로 다른 정보 해상도를 요구한다. Transformer의 Self-Attention은 시퀀스 내 토큰 간 관계를 포착하지만, 심층 계층의 정보 필요성 차이로 인해 하나의 네트워크에서 두 요구를 모두 만족하기 어렵다. 기존 모델은 다중 태스크 학습으로 이를 해결하려 했으나, 데이터 혼합과 파이프라인 조정으로 인한 상충이 발생했다. 단락2: Uni-Edit은 지능형 편집이라는 일반 태스크를 통해 이해와 생성을 동시에 자극한다. 이해 질문을 편집 지시로 변환하고, Nano-Pro를 이용해 고품질 편집 이미지를 생성한 뒤 GPT-4o로 품질 검증을 수행한다. 이를 통해 하나의 데이터·하나의 학습 스테이지로 세 능력을 함께 향상시킨다. 단락3+: 편집 지시의 설계는 일반 지식과 수학적 추론 등 광범위한 이해를 포섭하도록 구성되며, 데이터의 카테고리별 기여도와 모델의 반응을 분석해 최적의 데이터 분포를 도출한다. 이로써 이해-생성-편집의 상호 보완 효과가 실험적으로 입증된다.

단락1: 데이터 소스와 편집 지시의 설계. LLaVA-OV1.5를 7개 이해 도메인으로 분류하고, 각 도메인에 대해 편집 지시를 생성한다. 단락2: 데이터 생성. Nano-Pro를 편집 백본으로 사용하고, 원래 이해 데이터의 정답을 추가 컨텍스트로 제공해 편집 이미지를 생성한다. 단락3: 데이터 필터링. GPT-4o를 활용해 편집 지시의 추종성, 시각적 미학, 일관성을 평가하고 Uni-Edit-148k를 확정한다. 단락4: 데이터 축소. 모델 특성에 따라 Uni-Edit-40k를 구성해 프라이머리 실험을 수행한다. 단락5: 학습 체계. Stage 1에서 생성 손실만으로 학습하고 Stage 2에서 이해 샘플로 lm_head를 정렬한다(선택적).

주요 벤치마크에서의 성능 향상: BAGEL-Uni-Edit(Stage 1)은 MMMU 53.6, MME 2405, MathVista 73.8, GenEval 71.3, WISE 85.5, RISE 7.29를 기록하고, 원 기준 BAGEL 대비 모두 개선되었다. gray 라인은 Stage 2의 추가 개선을 나타내며 MMMU 54.2, MME 2412, MathVista 74.3, GenEval 72.1, WISE 86.0, RISE 7.25로 증가한다. Ablation 연구에서 VAE dropout 제거가 이해-생성-편집 모두에서 성능 저하를 야기했고, joint training 및 LM head alignment의 효과를 분석했다. 이미지 이해 벤치마크 전반에 걸친 지식 기반 데이터의 덕분에 Generational 및 Spatial Reasoning 벤치마크에서의 향상이 확인된다.

단락1: Uni-Edit의 아키텍처 구성은 BAGEL 기반으로 이해(Und)와 생성(Gen) 헤드를 포함하는 MOT Layer를 두 단계에서 업데이트한다. Stage 1은 generation loss만으로 학습하고, Stage 2는 80k 이해 샘플로 lm_head를 정렬한다. 단락2: Edit 타입은 8개 유형으로 분류되며, 데이터 생성은 Nano-Pro로 수행하고, 원문 이해 데이터의 정답을 컨텍스트로 제공한다. 단락3: 데이터 배포와 ablation에서 VAE 입력의 역할이 손실되며 ViT 기반 특징만 사용하도록 유도한다. 단락4: ablation 결과로 Caption/OCR/Math 등 특정 데이터가 생성/이해/편집 중 하나에 치우친 편으로 작용함을 확인한다. 단락5: 해석과 재현 가능성을 확보하기 위해 14시간(4 노드, NVIDIA H800 80GB) 훈련 하드웨어 설정과 FSDP를 활용한 학습 파이프라인을 사용한다.

본 논문의 효과는 베이스 모델의 능력에 일부 의존한다. 예를 들어 Caption, Math, OCR 데이터는 BAGEL 및 Janus-Pro 튜닝에서 텍스트 렌더링 한계로 충분히 활용되지 않았다.