자유 형식 텍스트-이미지 교차 생성을 위한 통합 멀티모달 모델 ILLUME-X

자유 형식으로 텍스트와 이미지를 교차 생성하는 능력은 시각적 스토리텔링, 단계적 이미지 변형, 그리고 멀티스텝 GUI 생성 같은 실제 응용에서 중요한 역할을 한다. 기존 통합 모델은 모달리티 전환과 연속성 평가에 한계가 있어 안정적인 N-to-M 교차 생성 성능 확보가 어려웠다. ILLUME-X는 대규모 고품질 인터리브 데이터 파이프라인과 전용 평가 지표 ILScore를 결합해 실용적인 교차 생성 성능과 효율성 개선을 함께 달성했다.

문제 출발점은 텍스트와 이미지 토큰을 동일한 시퀀스에서 자유롭게 교차시키면 모달리티 전환 시 불연속성과 최적화 불안정성이 발생한다는 것이다. 기존의 AR 기반 통합 모델은 시퀀스 구조에 따라 출력 형태가 제한되거나 이미지 품질·연속성 중 하나를 희생하는 경향이 있었다. 이러한 한계는 멀티 모달 토큰의 긴 컨텍스트와 서로 다른 최적화 목표가 충돌하기 때문에 발생했다. ILLUME-X의 해결 원리는 모달리티 간 공통 표현 정렬과 모달리티별 연산 정책을 결합하는 것이다. 구체적으로 ViT와 VAE로 시각 특성을 분리 인코딩하고 decoder-only Transformer 내부에서는 공유 self-attention을 사용하되 모달리티별 QKV 프로젝션과 FFN을 적용해 모달리티 특화 처리를 가능하게 했다. 또한 토큰 세그먼트별로 인과적(causal) 또는 양방향(bidirectional) 어텐션을 구분해 텍스트 생성의 auto-regressive 속성과 이미지 이해의 전역 문맥 필요성을 동시에 만족시켰다. 이 접근은 자유 길이의 N-to-M 교차 생성과 안정적인 학습을 가능하게 했다. 입력에서 텍스트·이미지 조건을 부분적으로 드롭하고 특수 토큰 손실을 제외하는 전략으로 모델이 다양한 조건 결손에 견고해졌고, interleaved CFG에서 텍스트 가이드 스케일과 이미지 가이드 스케일을 분리해 조정함으로써 생성 품질과 조건 준수도의 균형을 제어할 수 있었다. 이로 인해 ILLUME-X는 통합 모델 가운데 상대적으로 적은 파라미터로도 높은 교차 생성 성능과 낮은 추론 지연을 달성했다.

전체 접근은 대규모 데이터 파이프라인, 통합 Transformer 기반의 interleaved 어텐션 설계, 그리고 다목적 학습 손실의 결합으로 구성된다. 데이터 파이프라인은 비디오에서 대표 프레임을 샘플링하고, 미적·움직임 기반 필터링을 거쳐 다중 수준의 캡션을 생성해 모델이 시간적 인과와 시각적 변화를 학습하도록 구성되었다. 모델 아키텍처는 ViT 인코더와 VAE 인코더로 시각 피처를 추출한 뒤 decoder-only Transformer에서 모달리티별 QKV와 FFN을 통해 특화 처리를 수행하는 형태로 설계되었다. 핵심 메커니즘으로 interleaved attention과 특수 토큰 체계를 도입했다. 토큰 시퀀스는 BOI/EOI/EOS 같은 특수 토큰으로 모달리티 경계를 표시하며, 각 세그먼트는 이전 세그먼트 전체를 참조할 수 있으나 세그먼트 내부 어텐션은 텍스트의 경우 인과적, 비전의 경우 양방향으로 설정해 생성과 이해 요구를 동시에 만족시켰다. 수식적 측면에서는 텍스트·특수 토큰에는 Cross-Entropy 손실을 적용하고 비전 토큰에는 Rectified Flow 기반 MSE 손실을 적용해 두 모달리티의 최적화 목표를 분리·병렬로 달성했다. 또한 interleaved Classifier-Free Guidance를 도입해 이미지 생성 시 텍스트 조건과 이미지 조건을 분해하여 각각 γtxt, γimg로 조정하는 방식을 사용했다. 이 메커니즘은 학습 중 세 가지 조건 샘플링 전략(텍스트·이미지 모두 유지, 텍스트만 드롭, 둘 다 드롭)을 적용해 모델이 다양한 조건 가용성 하에서 동작하도록 만들었다. 마지막으로 다단계 in-context 생성과 자기반영 루프를 통해 합성 데이터의 품질을 높이고 외부 MLLM을 감독자로 활용해 불량 샘플을 제거하는 후처리 단계를 포함했다.

ILLUME-X는 ISG-Bench에서 평균 6.26을 기록해 동급 통합 모델 가운데 최상위권 결과를 보였고, 동일 벤치에서 에이전트 기반 비통합 시스템(ISG-AGENT)과 동등한 평균점을 달성했다. ILScore 기준 전체 집계에서는 ILLUME-X가 5.34를 기록해 Emu 3.5(5.33)를 근소하게 앞섰으며 D1~D4의 세부 차원에서 균형적인 성능을 확보했다. GenEval에서는 전체 0.85를 달성해 OmniGen2(0.80)와 BAGEL(0.82)을 능가했으며 특히 Counting과 Colors 항목에서 강점을 보였다. 이미지 생성 품질 비교에서 DPG-Bench Overall 86.38을 기록하며 BAGEL(85.07)과 Janus-Pro(84.19)를 상회했고 Attribute(94.08)와 Entity(91.80)에서 높은 정확도를 보였다. 효율성 측면에서는 7B+7B 구성의 ILLUME-X가 이미지당 81.33초의 처리 시간을 기록해 Emu 3.5(34B)의 409.50초보다 현저히 낮은 지연을 달성했다. Ablation 결과에서는 interleaved CFG에서 γtxt=8.0, γimg=1.0과 CoT 사용이 Visual Storytelling 및 Image-Text Complementation 성능을 향상시키는 것으로 확인되었다.

전체 아키텍처는 ViT 인코더와 VAE 인코더로 시각 정보를 두 축으로 분리해 캡처하고, decoder-only Transformer가 공유 self-attention과 모달리티별 QKV·FFN을 통해 토큰을 처리하는 구조로 구성되었다. 정규화와 활성화는 RMSNorm과 SwiGLU를 사용하고, RoPE positional encoding과 QK-Norm을 도입해 어텐션 그라디언트의 안정성을 확보했다. 추론 효율을 위해 Grouped-Query Attention을 적용해 KV 캐시 오버헤드를 낮췄다. interleaved attention은 토큰을 모달리티 세그먼트로 분할하고 세그먼트 간에는 이전 세그먼트로의 전방 참조를 허용하는 generalized causal attention을 사용한다. 구체적으로 텍스트 및 특수 토큰은 인과적 어텐션을 적용해 auto-regressive 속성을 유지하고, 비전 토큰은 양방향 어텐션을 적용해 공간적 상호작용을 포착한다. VAE 잠재 시퀀스에서는 노이즈 잠재와 재구성 잠재를 명확히 배열하고 노이즈 토큰을 마스킹해 노이즈 전파에 따른 오류 누적을 완화했다. 학습 관점에서는 텍스트 및 제어 토큰에 Cross-Entropy를 적용하여 언어 모델링 능력을 유지하고, 비전 토큰에는 Rectified Flow 기반 MSE 손실을 적용해 시각적 충실도를 최적화했다. interleaved CFG는 조건을 텍스트 조건 집합과 이미지 조건 집합으로 분해하고 각각 γtxt와 γimg 스케일을 두어 이미지 생성 시 텍스트 기반 가이던스를 핵심 앵커로 유지하면서 이미지 조건의 영향력을 별도로 조절했다. 학습 중에는 조건 샘플링 전략(둘 다 유지, 텍스트만 드롭, 둘 다 드롭)을 무작위로 적용하고 조건 드롭 시 특수 토큰과 텍스트 토큰의 손실을 제외해 모델의 견고성을 확보했다. 데이터 구축 세부사항으로 비디오 추출은 다중 간격 슬라이딩 윈도우(예: 2, 5, 8 프레임 창)를 사용해 시간적 다양성을 포착했고, 미적 필터링은 Laplacian variance와 MANIQA 점수를 결합해 저품질 프레임을 제거했다. 모션 필터링은 RAFT로 광류를 계산해 평균·분산이 낮은 프레임을 제거했고 DINOv2 특성 차이를 통해 중복 프레임을 추가로 제거했다. 다단계 in-context 생성에서는 외부 MLLM을 디렉터로 활용해 CoT 기반 텍스트 설계문을 만들고 이미지 간 차이점을 기술해 고품질 연속 이미지를 합성했다.

논문은 주로 해상도 512에서의 학습·평가 결과를 보고하고 있어 1024 이상 고해상도 인터레브 생성으로의 직접적 확장은 제한된다. 모델 구조와 컨텍스트 길이 제약으로 인해 고해상도 및 더 긴 멀티모달 시퀀스 학습·추론에서 성능 저하 가능성을 인정했다. 따라서 고해상도 대응과 더 긴 문맥 처리를 위한 추가 구조·훈련법 개선이 필요하다고 명시되어 있다.