Tuna-2: 멀티모달 이해 및 생성을 위해 시각 인코더를 능가하는 픽셀 임베딩

기존 멀티모달 모델이 의존하던 복잡한 시각 인코더(VAE 등)를 완전히 제거하고 원시 픽셀 데이터를 직접 처리하는 혁신적인 구조를 제안한다. 이를 통해 이미지 이해와 생성 작업 간의 불일치를 해결하고, 미세한 시각적 디테일이 필요한 작업에서 기존 모델을 압축하는 성능을 보여준다.

기존의 멀티모달 모델은 이미지를 처리할 때 CLIP 같은 시각 인코더를 사용해 특징을 추출하거나, VAE를 통해 작은 크기의 잠재 공간으로 압축한 뒤 학습한다. 하지만 이 과정에서 모델은 원본 이미지의 미세한 픽셀 정보를 잃어버리게 되며, 이해를 위한 표현과 생성을 위한 표현이 서로 달라지는 문제가 발생한다.

Tuna-2는 이러한 중간 단계를 모두 생략하고 이미지를 바둑판 모양의 패치로 나눈 뒤, 각 패치의 픽셀 값을 직접 벡터(Embedding)로 변환하여 Transformer에 입력한다. 이는 텍스트 토큰이 임베딩 레이어를 거쳐 모델에 입력되는 방식과 동일하며, 모델이 이미지의 가장 밑바닥 정보인 픽셀부터 직접 학습할 수 있게 한다.

결과적으로 모델은 인위적인 압축 없이 이미지의 모든 세부 사항을 관찰할 수 있게 된다. 실험 결과, 충분한 양의 데이터를 학습한 Tuna-2는 시각 인코더를 사용한 모델보다 훨씬 정교한 시각적 이해 능력을 갖추게 되었으며, 생성 작업에서도 잠재 공간 기반 모델들과 대등한 품질을 기록했다.

Tuna-2는 단일 Transformer 디코더 구조를 기반으로 하며, 이미지 패치를 선형 투영(Linear Projection)하여 시각 토큰을 생성한다. [이미지 패치 데이터 → 선형 레이어 연산 → 시각 토큰 벡터] 과정을 통해 별도의 인코더 없이 입력을 구성한다.

이미지 생성을 위해 픽셀 공간 플로우 매칭(Pixel-space Flow Matching)을 사용한다. 소스 이미지 x1과 노이즈 x0 사이를 선형적으로 연결하는 경로 xt = tx1 + (1-t)x0를 설정한다. 모델은 타임스탬프 t와 노이즈가 섞인 이미지 xt를 입력받아 원래의 깨끗한 이미지 xθ를 직접 예측하도록 학습된다.

학습 효율을 높이기 위해 마스킹 기반 학습(Masking-based learning)을 적용한다. 입력 이미지 패치의 일부를 무작위로 가리고, 생성 작업에서는 가려진 부분의 픽셀을 복구하며 이해 작업에서는 가려진 시각 정보만으로 적절한 텍스트 응답을 생성하도록 유도한다. 이는 모델이 픽셀 간의 상관관계를 더 깊이 이해하게 만든다.

Tuna-2는 7B 파라미터 규모에서 OCRBench, MMVP 등 9개의 주요 시각 질의응답(VQA) 벤치마크에서 기존의 인코더 기반 모델인 Tuna 및 타 SOTA 모델들을 능가했다. 특히 미세한 시각적 인지가 필요한 픽셀 중심 벤치마크에서 강력한 성능을 보였다.

이미지 생성 성능 평가인 GenEval과 DPG-Bench에서도 Tuna-2는 VAE를 사용하는 모델들과 대등하거나 더 높은 점수를 기록했다. 특히 이미지 내 객체의 수나 위치를 정확히 표현하는 능력에서 우수한 결과를 나타냈다.

Ablation Study를 통해 마스킹 전략이 성능 향상에 핵심적임을 확인했다. 마스킹을 적용했을 때 OCRBench 점수가 55.4에서 56.8로 상승하는 등 이해와 생성 모든 측면에서 지표가 개선되었다.

Tuna-2 아키텍처는 Qwen2.5-7B-Instruct를 백본으로 사용하며, 시각 인코더를 제거하고 패치 임베딩 레이어로 대체한 것이 특징이다. 이는 모델이 고정된 해상도나 인코더의 편향(Inductive Bias)에 갇히지 않고 원시 데이터를 직접 처리하게 한다.

생성 손실 함수는 Lflow = Et,c,x1,x0 ||vθ - v||²를 사용한다. 여기서 v는 실제 속도 벡터(x1 - x0)이며, 모델이 예측한 xθ를 속도 vθ로 변환하여 회귀 학습을 수행한다. 이 방식은 픽셀 공간에서의 직접적인 최적화를 가능하게 한다.

학습 파이프라인은 2단계로 구성된다. 1단계에서는 5.5억 개의 이미지-텍스트 쌍을 사용하여 캡셔닝과 이미지 생성을 동시에 학습하는 전체 모델 사전 학습을 진행한다. 2단계에서는 고품질 데이터셋을 사용해 이미지 지시 이행 및 편집 능력을 강화하는 지도 미세 조정(SFT)을 수행한다.

인코더 기반 모델에 비해 학습 초기 수렴 속도가 느리다는 단점이 있다. 사전 학습 초기 단계에서는 시각 인코더의 의미론적 사전 지식을 활용하는 Tuna-R 모델이 더 높은 성능을 보였으나, 학습 데이터가 늘어남에 따라 Tuna-2가 이를 추월하는 양상을 보였다.