네이티브 멀티모달 사전학습의 계산-최적 스케일링

텍스트 전용으로 학습된 대형 모델은 시각·공간적 개념을 내재화하지 못해 멀티모달 현실 세계 인식을 제한받았다. 이 논문은 처음부터 이미지와 텍스트를 함께 학습하는 네이티브 멀티모달 접근에서 모델 크기와 데이터량의 최적 분배법을 규명하여 한정된 계산 자원에서 더 효율적인 설계를 가능하게 했다. 또한 멀티모달 학습이 순수 텍스트 공간추론 성능을 향상시킨다는 실험적 증거를 제시하여 멀티모달 자원의 배분이 실제 응용 성능에 미치는 영향을 분명히 했다.

출발점은 Transformer 기반의 디코더-온리 모델이 고정된 계산 예산 내에서 모델 파라미터 수 N과 전체 학습 토큰 수 D를 어떻게 배분하는가에 따라 최종 훈련 손실 L(N,D)가 결정된다는 점이다. 기존의 언어용 스케일링 법칙(예: Kaplan, Hoffmann 계열)은 단일 모달 분포에 대해 N과 D의 거동을 전제로 했지만, 이미지-텍스트 혼합 데이터에서는 각 모달의 목표(L_text, L_mm)가 동일한 파라미터를 공유하면서 서로 다른 자원 민감도를 가질 수 있다. 이로 인해 하나의 통합 규칙으로는 두 목표의 최적 배분을 포괄적으로 설명하기 어렵다.

전체 접근은 두 가지 독립적 추정기를 사용하여 계산-최적 프론티어를 추정하는 것이다. 첫째로 IsoFLOP 프로파일을 통해 고정된 FLOPs C에서 다양한 모델 크기에 대한 손실 곡선을 얻고 포물선 최소값을 사용해 N_opt(C)를 획득한 뒤 D_opt(C)=C/(6N_opt)으로 토큰 수를 도출했다. 둘째로 각 모델 크기에 대해 토큰을 늘려가며 얻은 훈련 곡선들의 하한을 모아 training-curve envelope를 구성한 후 그 점들에 대해 log 회귀를 수행하여 N·D에 대한 독립적 추정치를 얻었다. 두 방법의 일치를 바탕으로 언어와 멀티모달 목표를 분리하여 각 목적함수에 대한 a(r), b(r) 지수를 추정했고, 이를 결합해 데이터 혼합비 r에 따른 언어-멀티모달 파레토 프론티어를 도출했다.

메인 벤치마크 결과는 언어 목표에 대해서는 데이터 구성(r)의 변화에 따라 IsoFLOP 및 엔벨로프가 거의 일치하며 compute-optimal 할당이 구성 불변성을 보였다는 점이다. 반면 멀티모달 목표는 r에 민감하게 반응하여 r 증가에 따라 최적 파라미터 스케일링 지수가 감소하고 토큰 비중이 커지는 경향이 관찰되었다. 다운스트림에서는 네이티브 멀티모달 사전학습이 텍스트 벤치마크 전반의 성능을 손상시키지 않으면서 SpatialEval 같은 순수 텍스트 공간추론에서 유의한 이득을 주었고, 멀티모달 인컨텍스트 학습 능력은 모델 규모와 훈련 데이터 양이 증가함에 따라 점진적으로 발현되었다.

모델 아키텍처는 디코더-온리 Transformer를 기반으로 하며 이미지 입력은 별도의 비전 인코더 없이 단일 패치 임베딩 레이어로 연속적 패치 임베딩으로 투사되어 처리된다. 일부 실험에서는 MoE(Mixture of Experts) 구조가 사용되었고 보조 손실(auxiliary loss)은 적용되지 않았다. 훈련 데이터는 250B 텍스트 토큰과 75B 멀티모달 토큰으로 구성되며 멀티모달 토큰은 이미지-텍스트 쌍 및 인터리브된 문서에서 파생되었다.

논문이 명시적으로 언급한 한계는 세 가지이다. 첫째, 실험 규모가 활성 파라미터 최대 3B에 제한되어 있어 대형 스케일(수십억~수조 파라미터)으로의 일반화가 보장되지 않는다. 둘째, 멀티모달 데이터는 단일 웹 크롤링 기반 이미지-텍스트 계열에 한정되어 있어 다른 도메인 또는 센서 타입 확장에 대한 검증이 부족하다. 셋째, 평가 및 스케일링 추정은 주로 훈련 손실을 검증 지표로 사용했기 때문에 최종 다운스트림 성능과의 직접적 상관관계에는 추가 해석이 필요하다고 명시했다.