옴니모달 밀집 비디오 캡셔닝을 위한 병렬화된 자기회귀 디코딩

밀집 비디오 캡셔닝은 긴 영상에서 다수의 시간적 이벤트를 정확히 찾고 각 사건을 서술해야 하므로 토큰 단위의 완전 연속적 자기회귀 생성은 추론 지연을 크게 유발한다. 이 논문은 이벤트 간 약한 의존성은 전역적 잠재 토큰으로 요약하고 각 이벤트 내에서는 순차 생성을 유지하는 방식으로 토큰 생성 의존 그래프를 재구성하여 병렬 생성을 허용했다. 그 결과 정확도를 저해하지 않으면서도 실제 디코딩 시간에서 다배속 향상(논문 보고 기준 최대 3.8배)을 이루어 장시간·다수 이벤트 영상 처리의 실용적 한계를 완화했다.

기존 자기회귀 기반 Video-LLM은 모든 출력 토큰이 이전 토큰 전체에 의존한다고 가정해 왔으며 이로 인해 토큰 수가 많은 장기 영상에서 디코딩 비용이 선형 이상의 방식으로 증폭됐다. 비디오 콘텐츠는 본질적으로 시간에 따라 구획된 이벤트들로 구성되며, 이벤트 간 정교한 토큰 단위 상호작용은 상대적으로 약한 경우가 많아 이벤트 수준의 압축 표현으로 교차 이벤트 정보를 요약할 수 있다. 본 논문은 이러한 관찰을 바탕으로 이벤트 단위의 잠재 전역 토큰을 순차적으로 생성해 사건 간 인과구조를 보존하고, 그 전역 토큰을 조건으로 각 이벤트의 로컬 토큰 체인을 병렬로 동시 생성하는 구조적 재구성을 제안했다.

전체 파이프라인은 두 단계로 구성된다. 첫 단계는 멀티모달 프리픽스 P를 조건으로 잠재 전역 토큰 {G1,...,GK,S}를 자기회귀적으로 생성하는 플래닝 단계이고 두 번째 단계는 각 G i를 앵커로 삼아 이벤트별 하위 체인들을 동시 디코딩하는 병렬 디코딩 단계이다. 플래닝 단계에서는 각 G i가 시간적 구간과 정렬되도록 유사도 기반의 grounding 손실 ℒ_gnd^{G^i}를 사용하며 해당 손실은 y_t^i(시간 세그먼트 t가 i번째 이벤트에 속하면 1, 아니면 0)와 G^i와 해당 구간의 멀티모달 토큰 간 정규화 점곱 유사도 sim_t^i를 입력으로 하는 평균 binary cross-entropy로 정의된다. 이 손실의 입력-처리-출력 구조는 다음과 같다: 입력은 각 시간 세그먼트의 라벨 y_t^i와 유사도 sim_t^i이고 처리 단계는 BCE(y_t^i, sim_t^i) 계산이며 출력은 시간축 전체에 대한 평균 값으로 전역 토큰의 시간적 근거성을 측정하는 스칼라 값이다. 병렬 디코딩 단계에서는 각 디코딩 스텝 j에서 모든 이벤트 분기 i에 대해 로컬 토큰 L_j^i들을 동시에 샘플링하도록 재구성하였고 그 조건부 분포는 {L_j^i}{i=1}^K ∼ P({L_j^i}{i=1}^K | P, G^{1:K}, {G^i, L_{<j}^i}_{i=1}^K)로 표현된다. 이 조건부 분포의 입력은 공유 멀티모달 프리픽스와 전역 토큰들 및 각 분기의 로컬 히스토리이며 처리 결과는 동일 타임스텝에서의 병렬 토큰 샘플링이다. 구현적으로 분기 간 로컬 토큰 간 attention을 마스킹하고 모든 분기는 모든 전역 토큰과 멀티모달 프리픽스에 접근하도록 설계해 전역 의존성은 전역 토큰을 통해 전파되도록 했다.

메인 벤치마크에서 PadCaptioner(3B)는 LongVALE에서 F1 56.4와 Sim 58.5를 기록하며 이전 SOTA 대비 F1에서 최소 6.7%p, Sim에서 6.1%p의 향상을 보였다. ChronusAV에서는 PadCaptioner가 F1 63.2와 Sim 40.0을 기록해 강건한 일반화 성능을 나타냈으며 YouCook2의 제로샷 평가에서도 CIDEr와 SODA_c 측면에서 우수한 수치를 보였다. 효율성 측정에서 실측 벽시계 시간 기준으로 ChronusOmni(7B)의 평균 디코딩 시간 16162.1ms 대비 PadCaptioner는 4283.8ms를 기록해 약 3.8× 속도 향상이 보고됐고 토큰당 디코딩 시간은 41.3ms에서 13.4ms로 약 3.1× 개선이 관찰됐다. 어블레이션 결과는 잠재 플래닝이 단독으로 성능을 크게 끌어올렸고 이벤트 분해 병렬 디코딩과 이벤트 인과화 어텐션 설계가 함께 적용될 때 성능과 효율 모두 최적화됨을 지지했다.

전체 아키텍처는 멀티모달 인코더와 LLM 디코더로 구성된 Omni-LLM 기반이며 본 논문 실험은 Video-SALMONN 2+(3B)를 베이스로 Qwen2.5-VL을 시각 인코더 및 디코더, Whisper-Large-v3를 오디오 인코더로 사용하고 Q-Former를 오디오 정렬기 역할로 배치해 구현됐다. 입력 전처리는 프레임 샘플링 0.5 FPS, 최대 256 프레임 제약을 적용하며 긴 영상은 균등 샘플링으로 프레임 수를 맞추었다. 학습 세부사항으로는 ChronusAV 서브셋(18K 비디오)을 LoRA로 1 에폭 파인튜닝했고 표준 토큰 분류 손실을 재구성된 시퀀스에 적용했으며 이때 전역 플래닝을 위한 ℒ_gnd와 토큰 예측을 위한 cross-entropy를 병행하여 최적화했다. 어텐션 조작은 로컬 토큰 간의 교차 이벤트 attention을 마스킹하고 각 로컬 토큰이 멀티모달 프리픽스와 모든 전역 토큰에 접근하도록 허용하는 방식으로 구현됐으며, 위치 인코딩은 동일한 디코딩 스텝의 서로 다른 분기 토큰들이 같은 위치 인덱스를 공유하도록 조정해 병렬 동기화를 실현했다. 훈련 시에는 최대 분기 길이에 맞춘 EOS 패딩을 적용하고 패딩된 EOS에 대한 손실도 포함시켜 분기 종료를 촉진하도록 했으며 추론 시에는 불필요한 패딩 토큰이 추가로 생성되지 않도록 분기별 EOS 검출로 독립 종료가 가능하게 구성했다.

의존성 그래프 재구성은 현재 이벤트 수준의 분해에 한정되어 있어 더 미세한 서브이벤트나 공간-시간 인스턴스 단위 병렬화 가능성은 남아 있다. 장시간 이벤트에 대해 적응형 의미 집약이 완전히 세부 정보를 포착하지 못해 생성 문장이 다소 거칠어질 수 있다는 관찰이 보고됐다. 제안한 어텐션 패턴은 일부 상용화된 최적화된 어텐션 커널과의 완전한 호환성이 부족해 추가적인 커널 레벨 최적화가 필요하다.