픽셀에서 단어로—대규모에서의 네이티브 원-비전 모델 NE0-ov

이 연구는 encoder-free native VLM의 가능성을 제시하고, 이미지-단일 프레임에서 다중 이미지와 비디오까지 연동하는 통합 모델을 제시한다. 단일 백본에서 픽셀-단위 상호작용과 시공간 관계를 학습함으로써 1) 단일-이미지에서 다중 이미지, 비디오까지 범위를 확장하고 2) 공간 지능과 긴 맥락 이해에서 경쟁력을 갖춘다.

출발점: 기존 vision-language 모델은 이미지 인코더 + LLM으로 구성되어 픽셀-단위 정보의 연속적 처리가 모듈 경계에 의해 분리된다. 그 결과 픽셀-단위의 정합성 및 다중 이미지/비디오의 연속적 추론이 제한된다. 해결 원리: NEO-ov는 patch embedding으로 시각 토큰을 생성하고, 텍스트 토큰과 함께 단일 Decoder-Only 백본에서 학습한다. T/H/W 축으로 나뉜 Rotary Position Embedding과 spatial-temporal attention을 도입해 텍스트 순서와 2D 공간 정보를 함께 모델링한다. 달라지는 점: unified visual serialization으로 다중 이미지/비디오를 독립적 비주얼 유닛으로 다루고, 유닛 간 관계는 autoregressive로 처리되어 초반부터 픽셀-픽셀 간 상호작용과 픽셀-단어 상호작용이 함께 학습된다. 결과적으로 단일 백본에서 픽셀-월드-월드 관계를 학습해, 정확도와 공간 추론 능력이 엔코더 기반 시스템보다 강건하게 개선될 수 있다.

단계 구성: 1) 전체 아이디어: encoder-free native backbone으로 이미지-텍스트를 하나의 시퀀스로 처리하고, patch embedding + 2D RoPE를 활용해 시공간 인덱싱을 구현한다. 2) 수학적 기반: qi = [qT i ; qHi ; qWi], kj = [kT j ; kH j ; kW j], sij = ⟨qT i, kT j⟩ + ⟨qHi, kH j⟩ + ⟨qWi, kW j⟩ 로 지역적(H/W)과 시간적(T) 상호작용을 합산한다. 3) 학습 전략: 3단계(Pre-Training, Mid-Training, Supervised Fine-Tuning)로 대형 이미지-텍스트 데이터와 비디오를 혼합하여 학습한다. 4) 구현 세부: Patch Embedding은 Conv1/Conv2로 32×32 영역의 시각 토큰을 생성하고, 텍스트 토큰은 원래 LLM 토크나이저를 사용한다. Pre-Buffer 레이어를 12개(2B) 또는 6개(9B)로 두고, RoPE 기초 주파수 θT=1e6, θH=1e4, θW=1e4를 고정한다. 5) 데이터 구성: Stage 1 20M 이미지-텍스트, Stage 2 nearly 60M 멀티모달 샘플(해상도 256^2~4096^2, 비디오 최대 128프레임), Stage 3 약 4M 단일 이미지, 1M 다중 이미지, 1M 비디오의 지시어 조정 데이터로 학습한다.

실험은 이미지 이해, 비디오 이해, 공간 지능의 벤치마크에서 수행되었다. Native VLM들 간의 비교에서 NEO-ov는 2B와 8B 규격에서 새로운 성능 프런티어를 달성했고, 이전 Native 아키텍처들(NEO, EVE 시리즈, Mono-InternVL 등)을 상회하거나 대등하게 경쟁했다. 또한 Qwen3-VL, InternVL3.5 등 Modular VLM과의 비교에서도 강력한 추론 능력과 낭설 감소에 기여한다. 다중 이미지/비디오 벤치마크에서 Cross-image reasoning과 Temporal dynamics 추론 능력이 우수하며, SI(Spatial Intelligence) 벤치마크에서도 강한 성능 개선을 보인다. 세부 수치는 표와 그림에 명시된 대로 제시되며, Stage 1에서 Stage 2로의 학습 진행에 따라 2B 및 9B 모델에서 지속적 성능 향상이 확인된다.

아키텍처: Patch Embedding Layer, Pre-Buffer, Post-LLM 레이어로 구성된 encoder-free decoder-only 백본. 표현: xv ∈ R^{n_v×d}, xt ∈ R^{n_t×d}, 2D RoPE embeddings를 사용. 토큰 간 상호작용: s_{ij} = ⟨q_Ti, k_Tj⟩ + ⟨q_Hi, k_Hj⟩ + ⟨q_Wi, k_Wj⟩. 시퀀스 구성: X_multi = [ xt1, xv1 , ..., xtm, xvm , q ]. 비디오 표현: X_video = [ p_global, [τ1]: xv1 , ..., [τf]: xvf , q ]. 학습: Stage 1 ~ Stage 3로 구성되며, Stage 1은 Patch Embedding 계층과 Pre-Buffer의 안정성 확보, Stage 2는 전체 네트워크의 공동 최적화로 시공간 추론 강화, Stage 3은 고품질 instruction-tuning 데이터를 통한 일반화 강화.

NEO-ov은 특정 단일 프레임/비디오 벤치마크에서 상위 모듈식 시스템과의 간극이 여전히 존재한다. 데이터 규모와 품질의 한계로 인해 복잡한 추론, 시간적 인식, 정교한 텍스트-텍스트 정렬에 한계가 있다. OCR 중심 문서/차트 이해에 대한 데이터 다양성과 품질이 아직 부족하다. 또한 native 멀티모달 학습의 확장은 모델 용량, 데이터 다양성, 긴 컨텍스트 학습의 확대로 더 큰 개선 여지가 있다.