128K 컨텍스트를 넘어선 장기 비전-언어 모델의 일반화와 효과적 LongPT 학습

긴 컨텍스트를 다루는 LVLM의 능력은 문서 이해, 비디오 분석, 에이전트 워크플로에서 핵심적이다. 본 연구는 32K에서 128K로 컨텍스트를 확장하는 LongPT를 체계적으로 분석하고, 데이터 구성과 혼합 전략이 성능 및 일반화에 미치는 영향을 실증한다.

왜 중요한가

핵심 기여

LongPT 설계 및 데이터 파이프라인

Qwen2.5-VL-7B 백본에서 32K에서 128K로 컨텍스트를 확장하기 위해 5B 토큰 예산으로 LongPT를 수행하는 실제 레시피를 제시한다. 데이터 생성 파이프라인은 Segment Sampling, QA Generator, Full-Document Instance의 순서를 따른다.

Long-document VQA가 OCR Transcription 대비 우수함

단일/다중 문장 증거가 필요한 VQA 태스크가 OCR 전사보다 더 강한 지도 신호를 제공하며, 실험적으로 LongPT에서 VQA 계열이 전반적으로 더 높은 성능 향상을 이끈다.

데이터 혼합 및 길이 분포의 효과

풀-네이티브(pool-native) 분포가 길이 편향(long-biased)보다 안정적 성능을 낳으며, 8:2의 정보 추출:추론 비율이 최적 혼합임을 확인했다. Short-context 데이터의 포함 여부에 따라 긴 컨텍스트 성능은 유지되거나 소폭 손실될 수 있다.

일반화 및 태스크 전이

128K에서 학습한 레시피가 256K/512K에 대해 추가 재훈련 없이도 일반화되며, MM-NIAH, VTCBench, Long-Video 등 다중 모달 태스크로의 전이가 가능함을 증명한다.

핵심 아이디어 이해하기

시작점은 Transformer의 시퀀스 길이 제약으로, 긴 컨텍스트에서의 연산은 대개 N에 비례하는 복잡도로 비효율적이다. 2) LVLM의 긴 문서 맥락은 이미지-텍스트가 interleaved된 멀티모달 입력을 포함하므로, 컨텍스트 확장에 특화된 데이터가 필요하다. 3) 본 연구는 segment 단위의 샘플링으로 짧은(segment) 정보를 추출하되, 전체 문서의 맥락(context) 안에서 이를 활용하도록; QA Generator를 이용해 문서-기반 QA를 생성하고, 이를 전체 문서 컨텍스트에 배치하는 방식으로 긴 컨텍스트에서의 정보 retrieval과 추론 신호를 제공한다. 4) 데이터 구성은 pool-native 길이 분포를 우선시하고, 8:2의 추출-추론 비율로 서로 보완하는 태스크를 결합해 일반화 능력을 확보한다. 5) 이러한 설계는 긴 컨텍스트에서도 단기 성능을 과도하게 손상시키지 않으면서, 256K 및 512K와 같은 훨씬 긴 컨텍스트에서도 효과적으로 작동한다.

방법론

[입력값→계산→출력] 입력값: 32K→128K로 확장된 컨텍스트의 Qwen2.5-VL-7B. 계산: mRoPE 기반 rotary embedding의 frequency를 4×10^6으로 조정하여 컨텍스트 확장에 맞춘 위치 인코딩을 적용한다. 출력: 128K 컨텍스트에서 MMProLong 레시피에 따른 성능 향상치를 얻는다. [데이터 파이프라인] 먼저 문서를 32–50페이지 구간으로 Segment Sampling해 8–15페이지의 segment를 QA Generator(Seed 2.0)로 QA쌍 생성. 이를 원본 문서에 재삽입해 Long-Context VQA 인스턴스를 구성. OCR Transcription은 OCR-전문가 모델로 페이지를 파싱해 Full-Document OCR과 Needle-Page OCR 두 가지 방식으로 구성. [데이터 혼합] Long-VQA 데이터 중 3종류를 8:2 비율로 섞고 pool-native 분포를 유지. Short-context 데이터의 비중은 0%에서 80%까지 조절하되, LongPT의 핵심은 Retrieval 중심의 학습과 구성이다. [평가] MMLongBench, MM-NIAH, VTCBench, Long-Video 등 다양한 벤치에서 64K~512K 컨텍스트로 일반화 여부를 평가한다.

주요 결과

주요 벤치마크에서 MMProLong은 64K AVG 57.70, 128K AVG 57.70으로 Qwen2.5-VL-7B 대비 큰 폭의 개선을 보인다(각 데이터세트 평균). 256K AVG 55.09, 512K AVG 52.52로 확장 컨텍스트에서도 강한 일반화를 보인다. MM-NIAH(64K) AVG 56.61에서 MMProLong이 128K에서 42.28로 하락하나, 128K에서도 MM-NIAH의 하이브리드 태스크에서 상당한 개선을 보이며 MM-NIAH 벤치의 백본 간 전이에서 이점을 얻는다. VTCBench-Wild AVG 52.73으로 개선되며, Long-Video 벤치에서도 Video-MME/MLVU/LongVideoBench에서 긍정적 전이 확인된다. MM-NIAH 128K에서의 평균은 약 42.28로 하락하지만, 64K에서의 재현성 및 VQA 기반지도(instructional supervision)로 긴 컨텍스트 적합성을 확보하였다.

기술 상세

A-layer의 기술적 요지는 LongPT의 데이터 설계와 멀티태스크 샘플링이다. Long-Context VQA 데이터는 Segment Sampling과 QA Generator를 결합한 파이프라인으로 구성되며, OCR Transcription 데이터는 Full-Document OCR과 Needle OCR로 분리된다. RoPE 기반의 mRoPE Frequency 조정은 컨텍스트 확장에 따른 위치 인코딩의 적합도를 높이고, 5B 토큰의 예산으로 128K 컨텍스트를 달성한다. 데이터 혼합은 Extract-Single, Extract-Multi, Reasoning의 3가지 태스크를 8:2 비율로 결합하고, pool-native 분포를 기본으로 사용하되 길이 분포의 다양성을 보장한다. 평가 방식은 MMLongBench의 LLM-judged QA, MM-NIAH, VTCBench, Long-Video 등으로 수행된다. 해당 레시피를 Qwen3-VL-8B에도 적용해 Backbone 간 전이성을 검증했다.

한계점

본 연구는 7B/8B 스케일의 LVLM을 대상으로 하며, 더 큰 모델군에 대한 확장은 추가 계산 자원이 요구된다.

실무 활용

LongPT 레시피를 통해 LVLM이 128K 이상의 긴 컨텍스트를 효과적으로 활용하도록 학습시키며, 다양한 멀티모달 태스크로의 일반화도 가능하게 한다.

Long-document VQA 적용: 법률/재무 문서의 대규모 문서 질의응답
웹페이지 기반 검색: MM-NIAH 방식의 needle-in-a-haystack 검색
비전-텍스트 압축: VTCBench와 같은 긴 맥락의 비주얼-텍스트 데이터 축약 및 이해
장시간 비디오 이해: 긴 비디오에서의 멀티모달 분석

코드 공개 여부: 미확인

키워드

Long-context modelingVision-Language ModelsContinued Pre-TrainingLong-document VQASequence-length distributionRetrieval-heavy mixturesInstruction-formatted dataMultimodal needle retrievalVision-text compressionLong-video understanding

용어 해설

LongPT: — 긴 컨텍스트 멀티모달 학습 신호를 생성하는 지속적(pre-training) 학습 프레임워크로, 32K에서 128K 컨텍스트로 확장하는 방법과 데이터 구성 전략을 포함한다.
긴 문서 VQA(Long-Document VQA): — 긴 문서에서 정보를 추출하고 수치 추론을 수행하도록 설계된 비주얼-퀘스처-응답 학습 신호이며, 다중 페이지 간 증거를 요구한다.
mRoPE(로터리 포지션 인코딩)(mRoPE): — 롱 컨텍스트 확장을 위한 위치 인코딩 기법으로, 컨텍스트 길이가 늘어나도 토큰 위치 정보를 효과적으로 표현하도록 설계된 회전 인코딩의 변형이다.
OCR 전사(OCR Transcription): — 긴 문서의 페이지를 이미지로 보고 텍스트를 전사하도록 학습하여 긴 이미지-텍스트 의존성을 모델링하는 방법.
MM-NIAH: — 웹페이지 기반의 검색-추출-추론을 평가하는 멀티모달 니들-인-헤이스트 벤치마크.

128K 컨텍스트를 넘어선 장기 비전-언어 모델의 일반화와 효과적 LongPT 학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

멀티모달 프리트레인의 물리와 확장 레시피

Remember‑R1으로 시각적 어텐션 지속화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

멀티모달 프리트레인의 물리와 확장 레시피

Remember‑R1으로 시각적 어텐션 지속화