DataComp-VLM: 데이터 혼합과 필터링이 VLM 성능에 미치는 영향과 공개 DCVLM-Baseline 데이터셋

대형 멀티모달 모델의 성능이 데이터 구성 방식에 크게 좌우되는 상황에서 이 논문은 동일 아키텍처·학습 절차를 고정한 채 데이터만 조작해 성능 변화를 체계적으로 측정했다. 그 결과 기존의 품질 기반 후처리 필터링은 이미 전처리된 데이터 풀에서는 한계가 있고 데이터 유형 혼합 비율이 핵심 성능 레버임이 확인되었다. 이러한 발견은 대규모 VLM 사전학습에서 비용 대비 성능 최적화와 데이터 공개·재현성 기준을 정하는 데 중요한 근거를 제공한다.

대형 VLM의 사전학습 품질은 단일 데이터 소스의 '높은 품질'을 더 많이 포함하는 것보다 다양한 데이터 유형을 적절히 혼합하는 것이 더 큰 영향을 미친다는 관찰에 기반한다. 기존의 품질 필터링은 웹 크롤링 원시 데이터의 잡음을 제거하는 데 유효했지만, 오늘날의 공개 VLM용 데이터 풀은 이미 원소별로 어느 정도 전처리(예: CLIP-score 기반 필터링)를 거친 상태여서 동일한 추가 필터가 더 이상 큰 개선을 주지 못한다. 따라서 데이터 구성(혼합 비율)이 학습 신호의 분포와 모델이 학습하는 능력의 우선순위를 재설정하는 주된 수단이 된다.

모델의 규모와 토큰 예산이 증가하면 모델이 더 복잡한 지시문 구조와 추론형 응답을 학습할 수 있는 능력이 확장된다. 지시문 중심 혼합은 학습 데이터에서 직접적으로 지시형 Q&A와 구체적 태스크 신호를 증가시켜, 큰 모델이 해당 패턴을 포착할 때 더 높은 성능 이득을 얻게 만든다. 반대로 캡션 중심 혼합은 초창기 소규모 설정에서는 좋은 초기 성능을 낼 수 있으나 스케일업 시 지시문 기반 과제에 대한 일반화 이득이 상대적으로 작게 남는다.

이 논문은 혼합 레시피의 최적화가 필터링보다 더 강력한 레버이며, 특히 '스케일 의존성'이 핵심임을 강조한다. 작은 모델에서의 혼합 순위가 큰 모델로 그대로 이전되지 않으므로 혼합 결정을 할 때에는 여러 스케일 포인트에서 검증해야 한다는 점이 핵심 직관이다.

전체 접근 방식은 모델 아키텍처와 훈련 레시피를 고정한 채 데이터만 변형하는 통제된 실험을 설계하는 것이다. 이를 위해 160개의 공개 데이터셋을 네 가지 타입으로 분류하여 6T 멀티모달 토큰 풀을 구성했고, 모델 규모(1B,2B,4B,8B)와 토큰 예산(6.25B,25B,100B,200B)에 따른 스케일링 사다리를 정의하여 각 혼합·필터 전략을 동일한 훈련 레시피에서 비교했다. 모든 실험에서 동일한 비전 인코더(InternViT-300M), Qwen2.5 계열 LLM 초기화, AnyRes 타일링, AdamW 옵티마이저와 동일 학습률 스케줄을 사용하여 아키텍처·학습 요인의 변이를 제거했다.

필터링 실험은 로컬 필터링과 글로벌 필터링 두 패러다임으로 나누어 수행했다. 로컬 필터링은 각 출처별 상위 퍼센타일을 유지하여 글로벌 혼합 비율을 보존한 채 품질 기준을 적용한 것이고, 글로벌 필터링은 풀 전체에 단일 점수 임계값을 적용하여 결과적으로 혼합 분포를 암묵적으로 재형성한다. CLIP-score, 텍스트 품질 분류기, UniFilter, 퍼플렉서티 기반 지표 등 다양한 필터를 조합해 60여 개 구성을 시험했고, 각 구성의 Core 평가 평균을 중점으로 비교했다.

혼합 실험은 이미지-캡션 대 지시문 축을 중심으로 세 가지 주요 레시피(캡션-헤비, 밸런스, 지시문-헤비)를 정의하고 텍스트 전용과 멀티모달 문서 비중은 고정한 뒤, 각 레시피를 모델 규모와 토큰 예산의 격자(grid) 상에서 평가했다. 또한 지시문 데이터의 상대적 부족 문제를 점검하기 위해 중복 반복을 2×,4×,8×로 인위적으로 증가시켜 반복에 따른 성능 감쇄를 정량화했다.

메인 벤치마크는 33개 Core 태스크의 평균 정확도로 집계되었고, DCVLM-Baseline 레시피(10% 이미지-캡션, 5% 멀티모달 문서, 15% 텍스트, 70% 지시문)를 대조군인 FineVision 등 기존 공개 데이터와 모든 스케일에서 비교했다. 결과적으로 x-large(8B,200B 토큰)에서 DCVLM-Baseline이 Core 평균 63.6%를 기록하여 FineVision 대비 +5.4pp 우위를 보였고, large(4B,100B)에서도 +4.7pp의 개선을 보였다. medium과 small 스케일에서는 개선폭이 더 작았지만 전반적으로 일관된 우세를 보였다.

필터링 실험 결과는 대체로 부정적이었다. 로컬 및 글로벌 필터링을 포함한 60여 개 구성을 평가한 결과 대부분의 필터가 무필터링(no-filter) 기준을 넘지 못했고, 일부는 성능을 악화시켰다. 하위 풀에서 전처리된 비율을 25%, 65%, 100%로 조정해 추가 필터의 이득을 측정한 결과 다운스트림 필터의 이득은 사전 필터링 비율이 높아질수록 급격히 감소했다(예: 25%에서 +2.4pp, 65%에서 +1.3pp, 100%에서 +0.6pp).

혼합의 스케일 의존성은 명확하게 관찰되었다. 지시문-헤비 혼합은 작은 규모에서는 최악의 출발을 보일 수 있으나 토큰 예산과 모델 파라미터가 증가함에 따라 기울기가 급격히 좋아져 큰 규모에서 최상으로 마무리되었다. 지시문 데이터의 반복은 2×,4×까지는 성능 저하가 완만하여 실무적으로 허용 가능한 수준이었고 약 8× 반복에서야 눈에 띄는 악화가 관찰되었다.

아키텍처는 InternViT-300M 비전 인코더, 2-layer MLP 프로젝터, 그리고 Qwen2.5 계열 LLM을 연결하는 형태로 설계되었다. 입력 이미지는 AnyRes 타일링으로 448×448 타일로 분할되고 각 타일은 픽셀 셔플링을 통해 256개의 시각 토큰으로 변환되어 언어 모델의 토큰 시퀀스에 결합된다. 학습은 AdamW 옵티마이저와 선형 3% 웜업, 코사인 감쇠 스케줄을 사용하며 최적 학습률은 2×10^-5로 초기 스윕으로 확인되었다.

데이터 전처리는 풀 수준의 디컨태미네이션과 길이 기반 샘플링을 포함한다. 평가셋 중복 제거를 위해 이미지의 경우 ResNet-50 SSCD 임베딩으로 코사인 유사도>0.75를 기준으로 필터링하고, 텍스트 전용 샘플은 MinHash로 Jaccard>0.55를 기준으로 중복을 제거했다. 훈련 데이터 구성은 길이 비례 샘플링(length-proportional sampling)을 사용하여 각 데이터 타입별 토큰 예산을 채웠다.

필터링 파이프라인은 로컬·글로벌 두 전략으로 구현되어 각 소스별 점수 분포 차이를 분리하여 분석할 수 있게 했다. CLIP-score 필터링은 여러 CLIP 모델(OpenAI ViT-L/14, DFN-CLIP, SigLIP-2)을 비교 적용했고 텍스트 품질은 DCLM fasttext, Nemotron, Mixtral 분류기를 사용해 평가했다. 퍼플렉서티 기반 실험에서는 텍스트 전용 퍼플렉서티, 멀티모달 퍼플렉서티, 그리고 Conditional Mutual Information 지표를 계산해 필터링 효과를 비교했다.

평가 파이프라인은 검증(13개), 코어(33개), 확장(52개)으로 구성된 3중 계층을 사용하여 안정성(stability)과 단조성(monotonicity) 기준으로 후보 벤치마크를 선별했다. 모든 실험은 코어 평균 정확도를 주요 지표로 사용했고 사후 감독학습(SFT) 이후의 전이도도 검증하기 위해 LLaVA-665K와 Mammoth-VL-12M으로 총 54개의 SFT 런을 수행하여 선행학습 성능이 SFT 이후에도 높은 상관관계를 유지함을 확인했다.

논문에서 사용한 데이터 풀은 공개 자료를 통합한 것으로, 상업적·비공개 데이터에 기반한 상위권 모델과는 직접 비교할 수 없는 제약이 있다. 연구는 주로 공개 데이터 풀에서의 전처리·혼합 전략에 초점을 맞추었으므로 원시 웹 크롤링에서 직접 데이터 구축을 수행하는 시나리오에는 결과가 그대로 일반화되지 않을 수 있다. 또한 실험은 특정 아키텍처(InternViT-300M + Qwen2.5 계열)와 고정된 학습 레시피에서 수행되었기 때문에 다른 아키텍처·훈련 레시피 조합에서는 혼합 우위의 민감도가 달라질 가능성이 논문에 명시되어 있다.