TL;DR

Mage-VL은 Mage-ViT의 from-scratch 4B 시각 인코더와 Qwen3-4B-Instruct-2507 디코더를 하나의 체크포인트로 통합한 멀티모달 모델이다. 코덱 I/P 프레임 기반으로 P 프레임의 모션-유의 패치만 유지하는 토크나이제이션으로 시각 토큰을 75% 이상 줄이고 동일 정확도에서 최대 3.5× wall-clock 추론 가속을 달성한 것이 보고됐다. 또한 경량의 프로액티브 게이트가 롤링 윈도우에서 p_speak를 예측해 이벤트-개방형 스트리밍 해설을 낮은 레이턴시로 제공하는 방식이 SoccerNet·OVO-Bench에서 우수한 실험 결과로 나타났다.

핵심 역량

• 정지 이미지 이해 능력을 제공하며 Mage-ViT의 from-scratch 비주얼 인코더가 이미지의 공간적 특징을 16×16 패치 그리드로 인코딩한 후 Qwen3 디코더로 전달해 세부 묘사·질문응답을 수행한다. 입력 이미지는 단일 공간 블록으로 변환되어 토크나이저와 디코더에 공급되고, 표기된 벤치마크에서 문서·차트·OCR 과제를 상위권으로 처리한 것이 확인됐다. 이 구성은 이미지-특화 대형 ViT 초기화 없이 학습 데이터 효율성을 확보한 형태이다.
• 비디오 이해와 시공간 추론을 수행하며 코덱-유도 패치 선택을 통해 P 프레임의 모션-유의 패치만 남겨 토큰 수를 75% 이상 줄이는 방식으로 동작한다. 입력으로는 코덱의 모션 벡터·잔차 에너지 또는 신경 코덱의 rate map이 들어오고 Mage-ViT가 중요도를 산출해 선택적 패치를 출력하여 Qwen3 디코더가 시계열적 문맥을 바탕으로 응답을 생성한다. 이 프로세스는 동일 정확도에서 최대 3.5× wall-clock 추론 속도 향상을 달성한 근거로 제시됐다.
• 프로액티브 스트리밍 해설을 지원하며 경량의 cognition gate가 롤링 코덱 윈도우에서 p_speak를 계산해 임계값 이상일 때만 전체 VLM을 호출하는 이벤트-개방형 워크플로우로 작동한다. 이 게이트는 고정된 백본에서 미세조정된 가중치로 동작하고 스트리밍 입력을 실시간으로 모니터링하여 불필요한 생성과 레이턴시를 회피한 것이 SoccerNet 실험에서 TimVal·F1·ROC-AUC·PR-AUC 최상위 결과로 나타났다. 결과적으로 단일 모델이 오프라인 이해와 실시간 응답을 모두 처리하는 운영 단일화를 달성했다.
• 다양한 비디오 소스와 코덱을 네이티브로 수용하는 유연성을 지니며 H.264/HEVC 같은 전통적 코덱과 DCVC-RT 같은 신경 코덱 모두 동일 인터페이스로 입력할 수 있다. Mage-ViT는 코덱-무관 인터페이스를 통해 모션 벡터·rate map 등 코덱 신호를 그대로 받아 토큰화하고, 이 토큰 스트림은 경량 투영기를 거쳐 Qwen3 디코더에 연결되어 동일한 디코더 파이프라인으로 처리되는 구조이다. 이로써 프레임 소스에 따라 아키텍처 변경이나 재학습이 불필요한 것으로 보고됐다.

강점

• 데이터 효율성이 높으며 Mage-ViT는 560M 비라벨 이미지와 100M 비디오 프레임으로 SigLIP2 수준의 표현력을 달성한 것으로 보고됐다. 입력 데이터는 코덱-유도 토크나이저를 통해 중요 패치 위주로 추출되고 이 방식이 프리트레이닝 비용을 줄이는 메커니즘으로 작동했다. 따라서 대규모 웹스케일 이미지-텍스트 프리트레이닝 없이도 경쟁력 있는 결과를 얻은 것이 확인됐다.
• 비디오 이해 성능이 동일한 4B Qwen3 백본을 유지한 조건에서 Qwen3-VL-4B 대비 모든 보고된 비디오·시간 기반 지표에서 우위를 보인 것이 핵심 강점이다. 예컨대 Timelens-ActivityNet +17.0 수준의 이득과 VideoEval-Pro 45.2 점(대조군 20.7)을 확보한 것이 보고됐고 이는 코덱-유도 토큰 절감이 시공간 추론 성능을 유지하면서도 효율을 개선한 결과로 나타났다. 특히 위치·추적·공간 지능 과제에서 상대적 이득이 큰 것으로 확인됐다.
• 스트리밍·실시간 해설에서 운영 단순성과 낮은 지연을 제공하며 SoccerNet에서 TimVal·F1·ROC-AUC·PR-AUC 항목에서 최상위를 기록한 것이 보고됐다. 경량 게이트가 롤링 윈도우를 모니터링하고 임계값 기반으로 디코더를 호출하는 입력→판정→생성 흐름이 레이턴시와 불필요한 생성 비용을 동시에 줄인 것이 근거로 제시됐다. 따라서 생중계·이벤트 감지형 애플리케이션에 적합한 운영 특성을 보유한 것으로 나타났다.

훈련 방식

단일 통합 체크포인트를 생성하기 위해 다단계 감독 학습 커리큘럼을 적용했으며 다섯 단계로 구성되어 있다. 1단계에서 약 350M 이미지 캡션과 4.2M 단편 비디오 캡션으로 멀티모달 정렬을 수행하고 2단계에서 54M 이미지-지시 샘플과 3.4M의 30–180초 비디오 캡션으로 instruction tuning과 단기 시점 정렬을 확립했다. 이후 중·장기 비디오를 포함한 확장, 코덱-네이티브 롱 컨텍스트 적응(350K 장기 비디오로 최대 384/768 프레임 롤링 윈도우 학습), 마지막으로 스트리밍 게이트를 약 3.3M 스트리밍 샘플로 미세조정하여 게이트만 학습하고 인코더·디코더는 동결한 방식으로 통합 모델을 완성한 것이 보고됐다.

알아두면 좋은 것

• Mage-VL은 비주얼 인코더 Mage-ViT를 from-scratch로 4B 규모로 학습해 코덱-유도 패치 배치를 구현했고, 이로 인해 프레임-밀집 샘플링 대비 시각 토큰을 75% 이상 줄여 동일 예산으로 비디오를 8× 더 길게 학습할 수 있었다. 입력은 I/P 프레임 분리→코덱 중요도 기반 패치 유지→3D RoPE로 시공간 위치를 보존하는 순서로 처리되어 토큰 절감과 문맥 보존을 동시에 달성한 것이 보고됐다. 이 설계는 대규모 이미지-텍스트 ViT 초기화 없이도 데이터 효율성을 확보한 근거가 되었다.
• 코덱-네이티브 토크나이제이션은 동일 정확도 조건에서 최대 3.5×의 wall-clock 추론 가속을 제공했으며 비디오 벤치마크에서 가장 빠른 성능을 보인 것으로 나타났다. 입력을 코덱 신호로 직접 다루는 과정은 모션-중요 패치만 처리하는 토큰 절감→짧은 처리 경로로 이어져 실시간 처리량과 비용을 동시에 개선한 매커니즘이다. 이 속도-정확도 이득은 스트리밍 운영 환경에서 실용적 이점으로 연결된 것이 확인됐다.
• 프로액티브 스트리밍 설계는 단일 체크포인트로 오프라인 이미지·비디오 이해와 이벤트-개방형 실시간 해설을 모두 포함시키는 통합 파이프라인을 실현했다. 경량 게이트가 롤링 윈도우에서 p_speak를 예측하여 임계값 이상일 때 디코더를 호출하는 입력→판정→생성 파이프라인으로 동작하며, SoccerNet 평가에서 TimVal 55.54 등 실시간 메트릭 우위를 확보한 것이 보고됐다. 따라서 별도 스트리밍 전용 모델 없이 운영상 단순화가 가능함이 확인됐다.

기술적 특징

• 코덱-연계 패치 선택 메커니즘은 입력 비디오를 I 프레임(Anchor)과 P 프레임(예측)으로 분리한 뒤 P 프레임에서 코덱이 실제 비트를 할당한 패치만 유지하는 식으로 동작한다. 입력으로는 모션 벡터·잔차 에너지 또는 신경 코덱의 rate map이 들어가고 Mage-ViT는 중요도를 계산해 토큰 스트림을 생성하며 이 과정이 토큰을 75% 이상 줄이면서 시공간 문맥을 보존하는 핵심 구현이다. 이 설계가 동일 정확도에서 최대 3.5× wall-clock 추론 가속으로 연결된 것이 보고됐다.
• Mage-ViT는 16×16 패치 그리드와 공유 3D RoPE를 사용하여 시공간 위치 정보를 보존하는 Codec-ViT 구조로 구성되며, 코덱-무관 인터페이스를 통해 전통적 코덱과 신경 코덱 입력을 모두 처리한다. 입력 단계에서 코덱 신호를 토큰 중요도로 변환→토큰 투영→공유 시공간 인코딩으로 이어지며, 이렇게 생성된 가변 길이 비주얼 토큰은 2층 MLP 투영기를 거쳐 Qwen3 디코더의 인풋으로 연결된다. 아키텍처는 코덱 종류 변경 시 재학습 없이도 동일 인터페이스로 작동하는 것으로 제시됐다.
• 프로액티브 스트리밍 구성은 System 1(경량 게이트)과 System 2(전체 VLM)를 단일 모델 내에서 구현한 형태이며 게이트는 고정 백본 위에서 미세조정된 가중치로 p_speak를 계산한다. 게이트 입력은 이벤트 보존 특성의 스트리밍 피쳐 메모리이며 출력 확률 p_speak가 임계값 τ 이상일 때만 디코더가 로컬 슬라이딩 윈도우의 최근 코덱 세그먼트를 사용해 응답을 생성하는 처리 흐름이다. 이로 인해 스트리밍 상황에서 레이턴시와 불필요 생성이 줄어드는 것이 SoccerNet 지표로 확인됐다.

차별점

• 비주얼 인코더를 from-scratch로 훈련한 Codec-ViT 설계가 차별점이며 이 인코더는 코덱-유도 중요도 산출로 P 프레임의 유의 패치만 유지해 토큰 수를 75% 이상 줄이는 동작을 한다. 이 방식은 기존의 web-pretrained ViT를 동결하고 균일 샘플링 프레임을 처리하는 접근과 달리 코덱 신호를 직접 활용하는 메커니즘으로, 동일 자원에서 더 긴 비디오를 학습할 수 있게 한 것이 보고됐다. 따라서 토큰 효율과 시공간 보존을 동시에 달성한 점이 차별화 포인트이다.
• 단일 체크포인트가 이미지·프레임샘플 비디오·전통/신경 코덱 비디오·이벤트-개방형 스트리밍 게이트를 모두 포함해 운영 단순성을 제공하는 점이 제품적 차별화이다. 저장소에 코덱 전처리기와 스트리밍 게이트 가중치가 번들로 제공되어 별도 이해·NVC·스트리밍 전용 체크포인트를 요구하지 않는 설계로 구현됐다. 이로 인해 배포·운영 파이프라인이 단순화되는 장점이 확인됐다.
• 코덱-네이티브 토크나이제이션이 동일 정확도에서 최대 3.5×의 wall-clock 추론 가속이라는 속도-정확도 전선을 새로 설정한 점이 기술적 분기점이다. 이는 코덱 신호 기반의 스파스 토큰화가 실시간 처리량과 비용 절감에 직접 연결되는 메커니즘으로 작동한 결과이며, 스트리밍 환경에서 실제 벤치마크 우위를 통해 검증된 것으로 나타났다.

벤치마크

이미지 분석