MOSS-VL 실시간 상호작용 기술 보고서

기존 Streaming 모델은 답변을 생성하는 동안 영상을 보지 못해 장면 변화에 맞춘 수정이나 중단이 어려웠습니다. MOSS-VL은 프레임을 생성 중에도 교차 어텐션 캐시에 추가하는 구조와 응답 시점을 학습한 상호작용 코퍼스를 결합해 이 문제를 겨냥했으며, 공개 Streaming 모델 가운데 네 가지 벤치마크 중 세 곳에서 최고 평균을 기록했습니다.

일반적인 오프라인 Vision-Language 모델은 영상 전체를 먼저 읽은 뒤 답변을 생성하므로, 생성 중에 새로운 프레임이 들어와도 이미 시작한 답변을 즉시 고치기 어렵습니다. Streaming 모델은 프레임을 순차적으로 받을 수 있지만 답변을 내는 동안에는 장면을 보지 못하는 L2~L4 수준에 머뭅니다. MOSS-VL이 겨냥하는 L5 real-time interaction은 말하는 동안에도 계속 지각해 증거가 바뀌는 순간 답변을 수정하거나 끊는 능력입니다.

Transformer의 Self-Attention은 텍스트 디코딩 시퀀스에 포함된 토큰을 중심으로 계산합니다. MOSS-VL은 영상 패치 토큰을 이 시퀀스에 섞지 않고, 텍스트 query가 시각 key·value를 참조하는 gated cross-attention 경로를 별도로 둡니다. 새 프레임이 오면 해당 프레임만 인코딩해 cross-attention cache 뒤에 붙이므로, 다음 출력 토큰이 기존 텍스트 상태를 유지하면서 갱신된 시각 정보를 읽습니다.

위치 정보가 없는 교차 어텐션에서는 텍스트와 패치의 순서 및 공간 관계를 구분하기 어렵습니다. XRoPE는 시간·높이·너비 세 축의 좌표를 텍스트 토큰과 영상 패치에 함께 부여하고, 별도의 absolute timestamp token은 샘플링 위치가 아니라 실제 초 단위 시각을 전달합니다. 여기에 Realtime-SFT가 각 프레임에서 침묵, 응답, 자기 수정을 선택하도록 학습되면서 모델의 출력은 단순한 영상 질의응답에서 시간에 맞춘 상호작용으로 확장됩니다.

MOSS-VL은 Qwen3-8B에서 초기화한 48층 언어 decoder와 Qwen3-VL vision encoder에서 초기화한 27층 시각 인코더를 결합합니다. 언어 decoder의 36개 Self-Attention 층은 텍스트만 처리하고, 네 층마다 배치한 12개 Gated-XAttention 층이 시각 토큰을 읽습니다. 11.3B 파라미터 가운데 약 8.2B는 언어 backbone, 2.3B는 교차 어텐션 스택, 0.8B는 vision encoder와 projection 모듈에 배정됩니다.

시각 인코더는 4,096~16.8M 픽셀의 native dynamic resolution 입력을 처리하고, 2 × 2 patch 그룹을 합친 뒤 MLP로 4096차원 decoder 공간에 투영합니다. 교차 어텐션은 32 query head와 8 key-value head의 GQA를 사용하며, Attention과 feed-forward 경로에 tanh 게이트를 씌웁니다. 게이트 스칼라를 0으로 초기화해 학습 초기에 언어 backbone이 손상되지 않도록 한 뒤 새 시각 연결부가 점진적으로 영향력을 얻습니다.

XRoPE는 텍스트와 시각 패치를 공통 좌표계 $(t,h,w)$에 배치합니다. 텍스트 토큰은 세 축을 함께 한 칸씩 전진시키고, 시각 패치 $\mathbf{p}_{a,b}=(t,t+a,t+b)$는 프레임의 시간 anchor $t$와 높이·너비 오프셋을 사용하며 $0\leq a<h'$ 및 $0\leq b<w'$를 만족합니다. 예를 들어 프레임의 병합 패치 격자가 2 × 3이면 첫 패치는 $(t,t,t)$, 마지막 패치는 $(t,t+1,t+2)$에 놓이고, 프레임 뒤의 separator와 text placeholder는 $x=\max(t+h',t+w')$ 좌표를 공유합니다.

각 프레임 앞에는 <|time_start|>X.X seconds<|time_end|> 형식의 절대 timestamp token을 삽입합니다. 영상은 1~16 fps의 motion-adaptive 방식으로 샘플링되며, 학습에서는 최대 2,048프레임, 평가에서는 최대 768프레임을 사용하고 공개 processor 기본값은 1 fps와 256프레임입니다. 새 프레임이 들어오면 해당 프레임의 key·value만 캐시에 추가되고 디코딩 시퀀스에는 timestamp token과 placeholder token만 늘어나므로, 이전 프레임의 재인코딩과 key·value 재계산을 피합니다.

학습은 네 단계 Pre-training, 표준 SFT, Realtime-SFT 순서로 진행됩니다. Pre-training은 150.3B 토큰의 Vision-Language Alignment, 203.0B 토큰의 Large-Scale Multimodal, 459.0B 토큰의 High-Quality Multimodal, 450.1B 토큰의 Annealing & Long-Context 단계로 구성되며 최대 시퀀스 길이를 8K에서 256K로 늘립니다. 이후 SFT는 7.6M 샘플과 102.8B 토큰으로 오프라인 지시 수행을 익히고, Realtime-SFT는 0.56M 샘플과 약 34.8B 토큰으로 프레임별 상태 결정을 추가합니다.

오프라인 평가에서 MOSS-VL-Instruct는 39개 벤치마크를 다섯 영역으로 나누어 비교했습니다. MMBench-EN 88.1, POPE 89.4, V* 89.0, MME-RealWorld 66.3, BLINK 78.0을 포함해 지각 영역 12개 중 다섯 곳에서 최고 점수를 기록했습니다. 시간적 추론에서는 Minerva 40.5, TOMATO 39.5, VideoMME-Logical 17.1로 각 세트에서 비교 모델보다 4.9점 이상 높았습니다.

MOSS-VL-Realtime은 OVO-Bench 평균 70.2로 2위 AURA 65.3을 앞섰고, OmniMMI 평균 32.7로 2위 25.4를 기록했으며, ProactiveVideoQA 평균 47.2로 2위 42.7을 넘었습니다. StreamingBench 시각 평균은 69.7로 AURA 71.1에 이어 2위였습니다. 능동 응답을 직접 측정하는 OmniMMI Proactive Alerting은 66.0 대 37.5, StreamingBench Proactive Output은 60.0 대 53.2, OVO-Bench Forward Active Responding은 62.1 대 55.8로 모두 MOSS-VL-Realtime이 앞섰습니다.

서빙 효율성은 동일한 Qwen3-8B 언어 backbone을 쓰는 Qwen3-VL-8B와 단일 H200, BF16, SGLang 환경에서 비교했습니다. 시각 출력량을 맞춘 조건에서 TTFT 격차는 시각 문맥이 커질수록 2.8배에서 5.1배로, end-to-end latency 격차는 1.9배에서 4.3배로 확대됐습니다. MOSS-VL이 같은 영상에서 Qwen3-VL보다 약 두 배 많은 시각 토큰을 유지하면서도 뒤처지지 않은 이유는 패치 토큰을 디코딩 시퀀스에 넣지 않고 append-only cross-attention cache로 처리하기 때문입니다.

언어 decoder는 48층으로 구성되며 36개 Self-Attention 층과 12개 Gated Cross-Attention 층을 네 층 간격으로 배치합니다. hidden size와 FFN size는 각각 4096과 12288이고, context window는 262,144 토큰이며, GQA는 32 query head와 8 key-value head를 사용합니다. Vision encoder는 27층, hidden size 1152, FFN size 4304, 16개 Attention head, 16 × 16 patch를 사용합니다.

Realtime-SFT의 입력은 프레임 도착 순서에 따라 텍스트와 교차 배치됩니다. 각 프레임 뒤에는 <|silence|>로 계속 관찰하거나 <|response|> 뒤에 답변을 생성하는 결정 슬롯이 오고, 답변이 끝나는 슬롯은 다시 <|silence|>로 닫힙니다. 한 답변을 여러 프레임의 연속 슬롯에 나누어 배치하므로 rate-limited real-time output과 장면 변화에 따른 여러 번의 발화를 학습할 수 있습니다.

침묵 슬롯이 응답 슬롯보다 훨씬 많으면 일반적인 next-token loss가 침묵만 예측하는 방향으로 치우칩니다. MOSS-VL은 상태 토큰에 inverse-frequency class coefficient와 focal factor를 적용하며, 손실은 $\mathcal{L}=\frac{\sum_i m_i w_i \ell_i}{\sum_i m_i}$로 계산하고 상태 토큰의 가중치는 $w_i=\alpha_{y_i}(1-p_i)^\gamma$, 그 외 토큰은 1로 둡니다. 여기서 $m_i$는 학습 대상 여부, $\ell_i$는 토큰별 cross-entropy, $p_i$는 정답 상태 토큰의 예측 확률, $\gamma=2$이며, 현재 global batch의 silence·response 개수를 이용해 두 상태의 기본 총가중치를 맞춥니다. 예를 들어 정답 상태 토큰의 확률이 0.5이면 focal 항은 $(1-0.5)^2=0.25$이고, 확률이 0.9이면 0.01이 되어 이미 확신하는 예보다 어려운 상태 결정을 더 크게 반영합니다.

Realtime-SFT 코퍼스는 0.56M 샘플, 약 34.8B 토큰, 2.2M emission decision으로 구성됩니다. 이 결정의 58.7%는 새로운 사용자 질문 없이 모델이 스스로 발화할지 정한 경우이며, 샘플의 5.1%는 목표 사건이 끝까지 나타나지 않아 전체 침묵이 정답입니다. 1 fps로 최대 768프레임, 약 12.8분 길이의 스트림을 구성하고, 실제 영상에서 증거가 보이기 시작하는 시점과 답변이 더 이상 유효하지 않은 시점을 프레임 단위로 검증합니다.

학습 인프라는 Megatron-LM의 data, tensor, sequence, context parallelism을 사용하며 8K에서 256K 토큰 시퀀스를 처리합니다. FlashAttention-3를 확장한 cross_kv_boundary는 각 query 행이 볼 수 있는 시각 key·value prefix를 32-bit 정수 하나로 전달하고, 경계 밖 tile은 계산 전에 제거합니다. 이 방식은 텍스트 길이와 시각 길이의 곱에 비례하는 dense cross-attention mask의 메모리·대역폭 부담을 줄이고, packed training과 KV-cache 실행 경로를 함께 지원합니다.

논문은 MOSS-VL-Instruct가 MMMU와 문서 중심 벤치마크에서 동일 규모의 강한 오픈 모델보다 낮은 점수를 냈다고 명시합니다. MOSS-VL은 thinking mode 없이 실시간 영상에 맞춘 학습을 수행했기 때문에 시험형 추론에는 약점이 남았습니다. 또한 공개 Streaming 벤치마크가 L2~L4까지만 정량 평가하므로, 생성 중 지각과 답변 수정에 해당하는 L5 성능은 라이브 데모와 공개 inference code를 통한 정성 검증에 그쳤으며, 논문은 전용 L5 벤치마크가 아직 없다고 밝힙니다.