128K 컨텍스트를 넘어선 장기 비전-언어 모델의 일반화와 효과적 LongPT 학습

긴 컨텍스트를 다루는 LVLM의 능력은 문서 이해, 비디오 분석, 에이전트 워크플로에서 핵심적이다. 본 연구는 32K에서 128K로 컨텍스트를 확장하는 LongPT를 체계적으로 분석하고, 데이터 구성과 혼합 전략이 성능 및 일반화에 미치는 영향을 실증한다.

1. 시작점은 Transformer의 시퀀스 길이 제약으로, 긴 컨텍스트에서의 연산은 대개 N에 비례하는 복잡도로 비효율적이다. 2) LVLM의 긴 문서 맥락은 이미지-텍스트가 interleaved된 멀티모달 입력을 포함하므로, 컨텍스트 확장에 특화된 데이터가 필요하다. 3) 본 연구는 segment 단위의 샘플링으로 짧은(segment) 정보를 추출하되, 전체 문서의 맥락(context) 안에서 이를 활용하도록; QA Generator를 이용해 문서-기반 QA를 생성하고, 이를 전체 문서 컨텍스트에 배치하는 방식으로 긴 컨텍스트에서의 정보 retrieval과 추론 신호를 제공한다. 4) 데이터 구성은 pool-native 길이 분포를 우선시하고, 8:2의 추출-추론 비율로 서로 보완하는 태스크를 결합해 일반화 능력을 확보한다. 5) 이러한 설계는 긴 컨텍스트에서도 단기 성능을 과도하게 손상시키지 않으면서, 256K 및 512K와 같은 훨씬 긴 컨텍스트에서도 효과적으로 작동한다.

[입력값→계산→출력] 입력값: 32K→128K로 확장된 컨텍스트의 Qwen2.5-VL-7B. 계산: mRoPE 기반 rotary embedding의 frequency를 4×10^6으로 조정하여 컨텍스트 확장에 맞춘 위치 인코딩을 적용한다. 출력: 128K 컨텍스트에서 MMProLong 레시피에 따른 성능 향상치를 얻는다. [데이터 파이프라인] 먼저 문서를 32–50페이지 구간으로 Segment Sampling해 8–15페이지의 segment를 QA Generator(Seed 2.0)로 QA쌍 생성. 이를 원본 문서에 재삽입해 Long-Context VQA 인스턴스를 구성. OCR Transcription은 OCR-전문가 모델로 페이지를 파싱해 Full-Document OCR과 Needle-Page OCR 두 가지 방식으로 구성. [데이터 혼합] Long-VQA 데이터 중 3종류를 8:2 비율로 섞고 pool-native 분포를 유지. Short-context 데이터의 비중은 0%에서 80%까지 조절하되, LongPT의 핵심은 Retrieval 중심의 학습과 구성이다. [평가] MMLongBench, MM-NIAH, VTCBench, Long-Video 등 다양한 벤치에서 64K~512K 컨텍스트로 일반화 여부를 평가한다.

주요 벤치마크에서 MMProLong은 64K AVG 57.70, 128K AVG 57.70으로 Qwen2.5-VL-7B 대비 큰 폭의 개선을 보인다(각 데이터세트 평균). 256K AVG 55.09, 512K AVG 52.52로 확장 컨텍스트에서도 강한 일반화를 보인다. MM-NIAH(64K) AVG 56.61에서 MMProLong이 128K에서 42.28로 하락하나, 128K에서도 MM-NIAH의 하이브리드 태스크에서 상당한 개선을 보이며 MM-NIAH 벤치의 백본 간 전이에서 이점을 얻는다. VTCBench-Wild AVG 52.73으로 개선되며, Long-Video 벤치에서도 Video-MME/MLVU/LongVideoBench에서 긍정적 전이 확인된다. MM-NIAH 128K에서의 평균은 약 42.28로 하락하지만, 64K에서의 재현성 및 VQA 기반지도(instructional supervision)로 긴 컨텍스트 적합성을 확보하였다.

A-layer의 기술적 요지는 LongPT의 데이터 설계와 멀티태스크 샘플링이다. Long-Context VQA 데이터는 Segment Sampling과 QA Generator를 결합한 파이프라인으로 구성되며, OCR Transcription 데이터는 Full-Document OCR과 Needle OCR로 분리된다. RoPE 기반의 mRoPE Frequency 조정은 컨텍스트 확장에 따른 위치 인코딩의 적합도를 높이고, 5B 토큰의 예산으로 128K 컨텍스트를 달성한다. 데이터 혼합은 Extract-Single, Extract-Multi, Reasoning의 3가지 태스크를 8:2 비율로 결합하고, pool-native 분포를 기본으로 사용하되 길이 분포의 다양성을 보장한다. 평가 방식은 MMLongBench의 LLM-judged QA, MM-NIAH, VTCBench, Long-Video 등으로 수행된다. 해당 레시피를 Qwen3-VL-8B에도 적용해 Backbone 간 전이성을 검증했다.

본 연구는 7B/8B 스케일의 LVLM을 대상으로 하며, 더 큰 모델군에 대한 확장은 추가 계산 자원이 요구된다.