완전 공개 학습 레시피로 구축한 LLaDA-Image

왜 중요한가

LLaDA-Image는 초기 대규모 학습에서 이미지-텍스트 쌍에 의존하지 않고 220M개 생성 학습 샘플 중 98%를 real image로 구성해 visual prior를 먼저 학습합니다. 이후 텍스트 정렬과 편집을 같은 DiT에 연결하고, Qwen-Image-Bench에서 영어 53.53, 중국어 53.38을 기록해 open-source 모델 중 두 트랙 모두에서 가장 높은 점수를 얻었습니다.

핵심 기여

이미지 전용 visual prior 학습

이미지에서 추출한 시각 토큰을 일부 마스킹하고 frozen VLM의 self-conditioning으로 DiT를 학습해 초기 단계의 대규모 image-text pair 의존을 줄였습니다. 전체 generation-training 샘플 220M개 중 image-only 샘플은 90% 이상이며, pre-training과 mid-training은 real image만 사용합니다.

생성·이해·편집을 하나의 모델로 통합

LLaDA 2.0 Mini 기반 VLM, Residual Query Adapter, Transformer Connector, single-stream DiT를 연결해 텍스트 조건을 생성과 편집에 공유합니다. 편집에서는 SigLIP-VQ 특징과 FLUX.2 VAE의 clean latent를 DiT에 직접 넣어 지시된 영역은 바꾸고 나머지 구조·질감·배경은 보존하도록 구성했습니다.

real-data 중심의 점진적 학습 과정

256² image-only pre-training에서 512² aspect-ratio mid-training으로 이동한 뒤 512² 텍스트 정렬, 1024² 전환, text-rich·portrait refinement, generation-editing joint training을 순서대로 진행합니다. Paired SFT에서도 real-image 비율을 70% 이상 유지하고 T2I와 I2I를 1:1로 섞어 편집 능력과 개방형 생성을 함께 유지합니다.

TwinFlow 기반 저단계 추론

다단계 LLaDA-Image를 TwinFlow로 distillation해 LLaDA-Image Turbo를 만들고, 생성기와 fake-score estimator를 하나의 DiT backbone과 두 output head로 학습합니다. 결과 모델은 2~4 sampling steps로 동작하며 추론 시에는 DMD head만 사용합니다.

핵심 아이디어 이해하기

일반적인 text-to-image 학습은 텍스트 설명과 이미지의 대응을 처음부터 함께 학습하지만, caption은 비용이 크고 고해상도 이미지의 세부 정보를 낮은 해상도로 줄이는 과정에서 잃을 수 있습니다. LLaDA-Image는 먼저 이미지 자체에서 SigLIP-VQ 특징을 추출하고 일부 시각 토큰을 마스킹한 뒤, 보이는 부분으로 누락된 이미지 내용을 복원하게 해 DiT의 visual prior를 형성합니다.

학습 이미지를 잠재 표현 x로 바꾸고 Gaussian noise z와 시점 t에 따라 xt를 구성하면, DiT는 현재 상태에서 noise와 image 사이를 이동시키는 속도 z-x를 예측합니다. 이미지 토큰을 모두 노출하지 않고 일부만 남기므로 입력을 그대로 복사하는 대신 주변 문맥과 구성 정보를 이용해 출력해야 하며, 이 과정이 텍스트 caption 없이도 시각 구조를 학습하게 합니다.

텍스트 생성 단계에서는 RQA의 learnable query가 입력과 Cross-Attention을 수행하고, query가 추가된 시퀀스를 frozen LLaDA 2.0 Mini가 처리합니다. Transformer Connector는 VLM의 hidden state를 DiT 조건 공간으로 옮기고, single-stream DiT는 조건 토큰과 noisy image token을 하나의 시퀀스로 결합해 모든 층에서 상호작용시킵니다.

편집에서는 참조 이미지를 VLM에 넣지 않고 두 경로로 DiT에 전달합니다. SigLIP-VQ 경로는 참조 이미지의 의미 정보를 제공하고 FLUX.2 VAE의 clean latent는 픽셀 수준 정보를 제공하므로, 텍스트 지시가 요구한 변경과 원본 영역 보존을 동시에 처리합니다. 이후 TwinFlow는 다단계 속도장 모델을 생성기·fake-score 역할이 공유된 구조로 distillation해 2~4단계 추론으로 줄입니다.

방법론

모델은 frozen LLaDA 2.0 Mini 기반 VLM, RQA와 Transformer Connector, 6B-parameter single-stream DiT로 구성됩니다. 텍스트는 tokenizer를 거쳐 VLM으로 들어가고, RQA는 multimodal 입력에서 생성 관련 query를 추출합니다. Connector가 VLM hidden state를 DiT 조건으로 변환한 뒤, 이미지 latent와 조건 토큰을 합쳐 DiT가 Flow Matching 속도를 예측합니다. 편집 입력에서는 SigLIP-VQ 특징을 reference branch로 변환하고 clean VAE latent를 noisy target latent와 결합합니다.

학습은 256² image-only pre-training, 512² aspect-ratio-bucketed mid-training, 512² image-text alignment, 1024² resolution transition, refinement, joint generation-editing 순서로 진행됩니다. Image-only 단계에서는 원본 이미지에서 crop을 추출해 조건과 target의 해상도 불일치를 줄이고, 시각 토큰 일부를 마스킹한 self-conditioning을 사용합니다. SFT에서는 logit-normal timestep sampling으로 고잡음 구간에 더 많은 학습 비중을 두며, Muon optimizer와 parameter-free RMSNorm으로 DiT를 최적화합니다. 편집 단계는 T2I와 I2I를 1:1로 혼합하고, 마지막에는 TwinFlow의 양의 시간 생성기와 음의 시간 fake-score branch를 번갈아 학습합니다.

주요 결과

Qwen-Image-Bench에서 LLaDA-Image는 영어 트랙 53.53, 중국어 트랙 53.38을 기록했습니다. 이는 open-source 비교군의 Z-Image Turbo보다 각각 1.87점과 0.67점 높은 수치이며, 영어 Quality 53.22, Aesthetics 58.22, Alignment 54.77을 기록했습니다. 중국어에서도 Quality 52.92, Aesthetics 56.92, Alignment 54.87을 얻었습니다.

텍스트 렌더링에서는 LongText-Bench 영어 0.923, 중국어 0.913을 기록했고, CVTG-2K에서는 평균 word accuracy 0.875, NED 0.945, CLIPScore 0.818을 얻었습니다. Word accuracy는 텍스트 영역이 2개일 때 0.892에서 5개일 때 0.857로 낮아졌습니다. GenEval에서는 전체 0.85를 기록했지만 Counting 점수는 0.53으로 특정 수량 구성에서 약점을 드러냈습니다.

GEdit-Bench에서 LLaDA-Image는 영어 overall 7.336, 중국어 overall 7.294를 기록했습니다. 영어 semantic consistency는 8.043, perceptual quality는 7.182로 지시 수행 점수가 시각적 자연스러움보다 높았습니다. LLaDA-Image Turbo는 4 sampling steps에서 Qwen-Image-Bench 영어 50.98, 중국어 50.27, GEdit-Bench 영어 7.024, 중국어 6.898을 기록했습니다.

기술 상세

LLaDA-Image의 생성 경로는 텍스트 조건을 tokenizer와 LLaDA 2.0 Mini VLM에 넣고, RQA가 learnable query를 입력 토큰과 Cross-Attention하도록 구성합니다. RQA 출력은 원래 입력에 concat되어 frozen VLM의 한 번의 prefill을 거치며, Transformer Connector가 결과 hidden state를 DiT 조건 공간으로 투영합니다. DiT는 noisy image latent, timestep, 조건 토큰을 하나의 시퀀스로 처리하는 pure single-stream 구조이며, 각 Transformer block의 Self-Attention에서 의미 토큰과 시각 토큰의 관계를 계산합니다.

Image-only pre-training에서는 원본 이미지 y를 SigLIP-VQ로 image token sequence로 바꾸고, keep probability가 1-ρimg인 binary mask를 feature 차원에 broadcast해 일부 토큰만 남깁니다. auxiliary prompt와 마스킹된 image token을 concat한 뒤 RQA–VLM–Connector를 거쳐 DiT 조건을 만듭니다. Gaussian noise z와 t를 사용해 xt=(1-t)x+t z를 만들고, DiT가 z-x를 예측하도록 평균제곱오차 Flow Matching loss를 계산합니다. t=0이면 입력이 clean latent x이고 t=1이면 noise z에 가까워지므로, 모델 출력은 이미지에서 잡음으로 이동하는 방향을 나타냅니다.

편집 경로는 참조 이미지 yref를 SigLIP-VQ로 처리해 feature fre f를 얻고, feature embedder와 두 Transformer layer로 DiT reference token href를 만듭니다. 텍스트 조건 hcond와 href를 concat한 hjoint를 visual token과 함께 처리하며, 동시에 FLUX.2 VAE가 만든 clean reference latent xref를 noisy target latent xt와 concat합니다. 의미 경로는 어떤 내용을 유지·변경할지 알려주고 픽셀 경로는 원본의 구조와 질감 정보를 전달합니다.

DiT의 모든 normalization layer에는 학습 파라미터가 없는 RMSNorm을 적용하고 generation training 전 과정에서 Muon optimizer를 사용합니다. SFT의 timestep은 표준 Gaussian 변수 ε를 sigmoid에 통과시켜 만들며, Pmean=0.8과 Pstd=0.8로 설정해 높은 noise 상태에 더 많은 확률을 배정합니다. 220M generation-training samples 중 98%가 real image이고 image-only 비율은 90% 이상이며, paired SFT의 real-image 비율은 70% 이상입니다.

TwinFlow distillation에서는 frozen Base model과 student DiT를 비교하고, 양의 시간은 생성기 head, 음의 시간은 fake-score head에 할당합니다. noise z에서 생성기 출력으로 clean sample을 직접 계산한 뒤 이를 다시 noise와 보간해 fake-score를 학습하고, real-score와 fake-score의 차이로 생성기 head를 갱신합니다. 생성기와 fake-score branch는 1:2 비율로 업데이트하며, inference에서는 DMD head만 남겨 2~4 sampling steps를 사용합니다.

한계점

논문은 전문 주제와 문화적으로 특수한 개념을 충실히 묘사하기 위한 world knowledge가 더 필요하다고 밝힙니다. 긴 텍스트, 여러 텍스트 영역, 복잡한 레이아웃에서는 렌더링 안정성이 낮아질 수 있으며, native 2K 생성은 아직 평가되지 않았습니다.

실무 활용

LLaDA-Image는 텍스트로 이미지를 생성하면서 같은 checkpoint에서 참조 이미지 편집까지 처리하도록 설계되었습니다. 고품질 다단계 모델과 2~4단계로 동작하는 LLaDA-Image Turbo를 선택할 수 있어, 품질 우선 작업과 낮은 추론 비용이 필요한 배포를 구분할 수 있습니다.

영어·중국어 프롬프트를 이용한 포토리얼istic 이미지 생성
참조 이미지의 배경·객체·스타일·텍스트를 지시문으로 편집
광고·포스터·문서처럼 이미지 안에 여러 텍스트 영역이 있는 콘텐츠 생성
고품질 생성에는 LLaDA-Image를, 짧은 추론 경로에는 LLaDA-Image Turbo를 사용하는 서비스 구성

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLaDA-Image(통합 이미지 생성·편집 모델)Diffusion Transformer(DiT)이미지 전용 사전학습LLaDA 2.0 Mini(확산 언어 모델 기반 VLM)RMSNorm(파라미터 없는 정규화)Muon optimizerTwinFlow(저단계 distillation)Instruction-guided Image Editing

용어 해설

Diffusion Transformer: — 이미지의 잠재 표현을 Transformer 블록으로 처리하면서 확산 과정의 각 시점에서 이동 방향을 예측하는 생성 구조입니다. LLaDA-Image에서는 텍스트 조건, 이미지 토큰, 참조 이미지 정보를 하나의 시퀀스로 합쳐 Self-Attention을 수행합니다. 이를 통해 의미 조건이 생성 과정 전체에 직접 반영됩니다.
Flow Matching: — 잡음에서 실제 데이터로 이동하는 연속적인 경로의 속도장을 학습하는 생성 방법입니다. 학습 중 실제 이미지 잠재 표현과 Gaussian noise를 시점에 따라 보간하고, 모델이 두 상태 사이의 이동 벡터를 맞히도록 최적화합니다. 추론에서는 이 속도장을 따라 잡음을 이미지로 변환합니다.
RMSNorm: — 활성값의 평균제곱근으로 벡터 크기를 정규화하는 방법으로, 학습 가능한 스케일과 편향 파라미터를 사용하지 않을 수 있습니다. LLaDA-Image는 DiT의 모든 정규화 층에 parameter-free RMSNorm을 적용해 장시간 대규모 학습에서 최적화 안정성을 높였습니다.
Residual Query Adapter: — 학습 가능한 query token이 텍스트·이미지 입력과 Cross-Attention을 수행해 생성에 필요한 정보를 추출하는 모듈입니다. 추출한 query를 원래 입력에 덧붙인 뒤 frozen VLM에 넣고, 이후 Connector가 VLM 표현을 DiT의 조건 공간으로 변환합니다. 전체 VLM을 Fine-tuning하지 않고 생성 관련 신호를 확보합니다.
TwinFlow: — 여러 단계의 Flow Matching 생성기를 2~4단계 추론 모델로 압축하는 distillation 방법입니다. 하나의 DiT가 양의 시간에서는 생성기, 음의 시간에서는 fake-score 추정기 역할을 맡고 두 학습 목표를 번갈아 최적화합니다. 추론 때는 생성기 head만 남겨 비용을 줄입니다.
SigLIP-VQ: — 참조 이미지에서 의미적인 시각 특징을 추출하는 vision encoder입니다. 편집 시 이 특징을 DiT 전용 branch로 변환해 텍스트 편집 지시와 결합하며, 변경하지 않을 영역의 의미와 구조를 유지하는 데 사용됩니다.

완전 공개 학습 레시피로 구축한 LLaDA-Image

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

편집 개념 확장과 밀집 감독으로 이미지 편집 성능 높이기

ImageBench의 텍스트-이미지 평가 기준

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

편집 개념 확장과 밀집 감독으로 이미지 편집 성능 높이기

ImageBench의 텍스트-이미지 평가 기준