Qwen-Image-2.0 기술 보고서

Qwen-Image-2.0은 텍스트-이미지 생성과 이미지 편집을 단일 프레임워크에서 수행할 수 있게 한다. 1K 토큰의 장-context 텍스트 렌더링, 다국어 타이포그래피, native 2K 해상도 포토리얼리즘, 그리고 RLHF 기반의 지시 추종 능력을 갖춰 실무 창작 파이프라인의 효율성과 품질을 크게 향상시킨다. 기존 시스템은 텍스트 렌더링, 고해상도 이미지, 편집 기능을 하나의 모델에서 동시에 달성하기 어려웠다.

왜 중요한가

핵심 기여

Professional-grade text rendering with long-context support

Qwen-Image-2.0은 prompts up to 1K tokens를 지원하고 텍스트-가득한 시각 출력(슬라이드, 포스터, 인포그래픽, 만화 등)을 직접 생성하며, glyph fidelity를 대폭 개선했다.

Broad multilingual rendering

다양한 언어를 처리하고 더 아름답고 복잡한 타이포그래피를 지원한다. 문자 정확도와 읽기 순서를 개선해 다국어 텍스트를 더 안정적으로 렌더링한다.

High-resolution photorealistic generation

native 2K 해상도 지원으로 포토리얼리스틱 표면 질감, 조명, 재질 표현이 향상되며 지역적 디테일이 풍부해졌다.

Unified text-to-image generation and image editing

단일 모델로 T2I 생성과 TI2I 편집을 모두 수행하며, 훈련 파이프라인의 일관성을 유지한다.

Data flywheel with multi-track RLHF

데이터 플라이휠 시스템으로 자동 신호 수집 및 다중 트랙( RL track, Pre-training track, Prompt engineering track) 최적화를 수행하고, 벡터 검색 기반 데이터 보강을 통해 일반화와 강인성을 향상시킨다.

Prompt Enhancer (PE)

복합 레이아웃/다panel 구성이 필요한 생성 작업에서 입력 프롬프트를 구조화된 상세 프롬프트로 재작성하는 모듈로, downstream 생성 품질을 향상시킨다.

핵심 아이디어 이해하기

단락 1. 출발점과 한계: 기존 텍스트-이미지 생성 시스템은 고해상도 렌더링, 다국어 타이포그래피, 복잡한 레이아웃, 그리고 대규모 텍스트를 포함한 컨텍스트를 모두 만족하기 어렵다. Self-Attention 기반의 변환기 계열은 긴 시퀀스에서 계산 비용이 급증하고, 텍스트 렌더링의 기하학적 왜곡과 편집의 일관성 저하가 발생한다. 단락 2. 해결 원리: Qwen-Image-2.0은 Qwen3-VL(멀티모달 조건 인코더)과 MMDiT(멀티모달 확산 변환기) 백본을 결합하고, 고 압축 Variational Autoencoder(VAE)로 고해상도 이미지를 latent 공간에서 처리한다. h = Concat Ex, hy 로 텍스트와 이미지 토큰을 하나의 시퀀스로 묶고 MSRoPE로 위치 정보를 통합한다. 편향 없는 모듈화(mx)와 SwiGLU 활성화로 joint 텍스트-이미지 학습의 안정성을 높인다. 단락 3. 차별점: 1K 토큰의 텍스트 렌더링, 2K 해상도(native) 지원, 다국어 타이포그래피, 텍스트-이미지 생성과 이미지 편집의 통합, RLHF를 통한 다차원 보상 최적화, 데이터 플라이휠과 Prompt Enhancer를 통한 고도화 등을 통해 기존 모델 대비 다양한 생성/에디팅 시나리오에서 품질과 제어성을 향상시켰다. 단락 4. 달라지는 점: 텍스트 중심 콘텐츠(슬라이드/포스터/인포그래픽)에서의 glyph fidelity 및 레이아웃 유지가 개선되고, 2K 수준의 상세 디테일과 조명 일관성이 향상되며, 복잡한 지시를 더 정확히 수행하는 인스트럭션 팔로잉이 강화된다. 또한 데이터 flywheel과 다트 보상 체계의 결합으로 실전 시나리오에서의 일반화와 로버스트니스가 향상된다.

방법론

Overall architecture: Qwen-Image-2.0은 three core components를 결합한다: (a) Multimodal Large Language Model(Qwen3-VL) — condition encoder, (b) VAE — high-compression latent representation, (c) MMDiT — latent space에서의 denoising. 입력 텍스트는 hy, 입력 이미지의latent 표현은 Ex로 변환되어 h = Concat Ex, hy 으로 결합된 후 MMDiT에 공급된다. MSRoPE를 사용하여 텍스트-이미지 토큰 간 위치 정보를 통합한다. (수식) h = Concat Ex, hy; (수식) h' = αh.
Prompt Enhancer(PE): 복합 작업에서 프롬프트를 구조화된 상세 프롬프트로 재작성하는 모듈이다. SFT 후 RL로 최적화된다. (제시된 패턴에 따라) Pfine → Pshort → CoT → Pfine의 역추론으로 프롬프트를 개선한다.
Training과정: Resolution 커리큘럼에 따라 256p → 512/1024p → 2048p로 증가하며, 6단계의 데이터 구성 및 전처리 필터링을 거친다. pre-training, continual pre-training, supervised fine-tuning으로 구성되며, RLHF를 통해 aesthetics, text-image alignment, portrait quality, instruction following, visual consistency 등의 보상을 사용하는 GRPO 기반의 학습을 수행한다.
Loss와 모듈: VAE에서 reconstruction, perceptual, semantic alignment losses를 사용하고 adversarial loss는 제거한다. Latent diffusability를 높이기 위해 semantic alignment loss를 도입하고, VAE 재구성 품질과 확산 학습의 균형을 맞춘다. 3단계의 공정 소프트웨어 파이프라인에서 Loss 항목들은 재조정된다.

주요 결과

벤치마크: LMArena에서 글로벌 순위 #9, 중국 모델 중 1위로 평가되었다. ELO 점수는 1168이며, 국제 모델 대비 상위권에 위치하고 Nano Banana와 비교해 우수한 성능을 보였다. 텍스트 렌더링, 인물 초상, 포토리얼리스틱 텍스처 및 Editing 품질 측면에서 전반적인 시각 품질과 편집 가능성이 크게 향상되었다. 추가 실험: RLHF를 적용한 Qwen-Image-2.0-RL은 텍스처 디테일과 전반적 리얼리즘에서 개선을 보였고, 4-NFE Distillation은 40스텝 교사 모델과 비슷한 품질을 4NFEs로 달성한다는 것을 시각적으로 확인했다. 프롬프트-엔하서(Prompt Enhancer)와 RL-aligned 학습의 조합이 T2I 및 TI2I 양쪽에서 일관된 품질 향상을 얻었다. 추가 실험/효율성: 고해상도 학습을 위한 16× latent compression과 VAE의 재구성 품질 개선은 PSNR/SSIM 지표에서 state-of-the-art 수준이다. DMD 기반의 distillation은 4-NFE에서도 자사 멀티-스텝 교사 대비 시각적 품질과 구문적 일치를 유지했다.

기술 상세

아키텍처 구성: Qwen-Image-2.0은 Qwen3-VL 인코더, VAE 인코더/디코더, 그리고 MMDiT를 하나의 흐름으로 연결한다. 입력 텍스트는 hy, 이미지 토큰은 Ex로 표현되고 h = Concat Ex, hy로 결합된 뒤 MSRoPE로 위치 정보를 통합한다. 편향 제거 모듈화(h’ = αh)와 비선형 활성화(SwiGLU) 적용으로 joint 텍스트-이미지 학습의 안정성을 확보한다. VAE는 16× 해상도 압축을 사용하며, 잔차 오토인코더 구조를 통해 고해상도 재구성 품질을 유지한다. semantic alignment loss를 도입해 latent space의 semantical 친화성을 높이고, adversarial loss를 제거해 학습 안정성을 증가시켰다. 프롬프트 강화 모듈 PE는 Pfine으로부터 Pshort를 생성하고, CoT 추론 traces를 활용해 Pfine의 의도를 확장한다. RLHF 단계에서 Aesthetic, Text-Image Alignment, Portrait Quality, Instruction Following, Visual Consistency 다중 보상을 구성하고 GRPO를 통해 최적화를 수행한다. 학습 전략: 세 가지 단계로 구성된 멀티스테이지 학습은 256p에서 시작해 2048p까지 해상도를 점진적으로 확장한다. Stage 1 ~ Stage 6의 각 단계는 T2I/TI2I 데이터 구성을 달리하며, Stage 4~6에서 512p/1024p/2048p 데이터의 다중 해상도 학습을 수행한다. A/B 테스트 및 벨리데이션을 통해 평가 신호를 수집하고, 벡터 검색 엔진을 통한 데이터 보강으로 편집 태스크의 일반화를 확보한다. RLHF의 보상 가중치는 학습 과정에서 동적으로 조정된다. 추적/평가: LMArena 벤치마크 및 텍스트 렌더링/편집 태스크에 대한 다중 평가 척도에 기반해 품질 향상을 확인한다.

실무 활용

단일 프레임워크로 텍스트-이미지 생성과 편집이 가능하며, 2K 해상도와 1K 토큰 길이의 텍스트 렌더링을 지원한다. RLHF 및 데이터 플라이휠 기반의 지속적 개선으로 실무 파이프라인에 적용 가능하다.

고해상도 프레젠테이션 포스터/Infographic 자동 생성
다국어 타이포그래피가 필요한 브랜딩 콘텐츠 자동 제작
텍스트 중심의 편집 작업과 이미지 합성의 단일 워크플로우
포토리얼리스틱 인물/배경 편집에서의 일관성 유지
대화형 디자인 도구에서의 실시간 프롬프트 보완 및 결과물 빠른 피드백

코드 공개 여부: 미확인

키워드

multimodal diffusion transformer(멀티모달 디퓨전 트랜스포머)condition encoder(조건 인코더)joint condition-target modeling(공동 조건-대상 모델링)data curation(데이터 큐레이션)multi-stage training(다중 단계 학습)text-rich content(텍스트가 풍부한 콘텐츠)photorealistic generation(포토리얼리스틱 생성)image editing(이미지 편집)

용어 해설

Qwen3-VL: — Qwen3-VL은 텍스트와 이미지의 멀티모달 정보를 함께 인코딩하는 조건 인코더로, 본 논문에서 텍스트-이미지 입력의 공통 표현을 추출하는 핵심 모듈이다.
다중모달 확산 Transformer(Multimodal Diffusion Transformer): — 다중 모달 입력을 공동으로 모델링하는 diffusion 기반 백본으로, 텍스트-이미지 토큰의 상호작용을 촉진한다.
Qwen-Image-2.0: — 텍스트-이미지 생성과 이미지 편집을 하나의 프레임워크에서 수행하는 이미지 생성 foundation model.
고압축 VAE(High-Compression VAE): — 16× 해상도 다운샘플링을 활용하는 고압축 VAE로, latent 공간의 역확산 학습을 가능하게 한다.
MSRoPE: — 텍스트-이미지 토큰 간 위치 정보를 공동으로 인코딩하는 다중 모달 포지션 인코딩 기법.
SwiGLU: — MLP 계층에서 비선형 활성화를 개선하여 joint 텍스트-이미지 학습의 안정성과 표현력을 높이는 비선형 모듈.
RLHF: — 다양한 보상 모델을 이용한 강화 학습 기반 인간 피드백 정렬 기법으로, 생성 품질과 조건 준수를 향상시킨다.

Qwen-Image-2.0 기술 보고서

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

완전 공개 학습 레시피로 구축한 LLaDA-Image

Qwen Image Edit용 Prompt Extend 모델

Qwen3.8-Max의 비전 성능과 실사용 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

완전 공개 학습 레시피로 구축한 LLaDA-Image

Qwen Image Edit용 Prompt Extend 모델

Qwen3.8-Max의 비전 성능과 실사용 평가