OmniShotCut: 샷 쿼리 Transformer를 활용한 통합 관계형 샷 경계 검출

기존의 샷 경계 검출 기술은 단순한 장면 전환점만 찾을 뿐, 전환의 종류나 샷 사이의 논리적 관계를 파악하지 못해 비디오 생성 모델 학습용 데이터 정제에 한계가 있었다. 이 논문은 Transformer 기반의 샷 쿼리 방식을 도입하여 미세한 편집 오류인 'Sudden Jump'까지 잡아내고 샷 간의 관계를 구조적으로 예측함으로써 고품질 비디오 데이터셋 구축의 효율성을 극대화한다.

기존의 샷 경계 검출은 주로 인접한 프레임 간의 픽셀 차이나 특징 변화를 감지하는 방식에 의존했다. 하지만 이는 'Dissolve'나 'Fade'처럼 서서히 변하는 장면 전환의 정확한 시작과 끝을 찾기 어렵게 만들고, 샷 전체의 맥락을 파악하지 못한다는 한계가 있다. 본 논문은 이를 해결하기 위해 비디오 전체를 하나의 시퀀스로 보고, 특정 샷의 정보를 담는 '샷 쿼리'라는 개념을 도입했다.

Transformer의 Attention 메커니즘을 활용하면 각 샷 쿼리는 비디오 전체 프레임 중 자신이 담당하는 샷에 해당하는 부분에 집중(Attention)하여 정보를 수집한다. 이는 마치 질문자가 비디오에게 '첫 번째 샷은 어디서 시작해서 어디서 끝나며, 어떤 효과로 전환되는가?'라고 묻는 것과 같다. 이 과정을 통해 모델은 국소적인 프레임 변화뿐만 아니라 샷 전체의 구조적 특징을 학습하게 된다.

결과적으로 모델은 단순한 절단면(Cut)뿐만 아니라, 편집자가 의도적으로 삽입한 미세한 프레임 점프나 복잡한 그래픽 효과까지 정확하게 식별할 수 있게 된다. 이는 비디오를 단순한 프레임의 나열이 아닌, 의미 있는 단위들의 유기적인 결합체로 이해하게 함으로써 비디오 이해의 수준을 한 단계 높인다.

전체 아키텍처는 ResNet 기반의 이미지 인코더, Transformer 인코더, 그리고 샷 쿼리를 사용하는 Transformer 디코더로 구성된다. 입력 비디오 프레임 [F x H x W x C]는 인코더를 거쳐 시공간적 특징 벡터로 변환되며, 여기에 3D 위치 임베딩이 더해져 시간적 순서 정보를 유지한다.

디코더에서는 고정된 개수의 학습 가능한 샷 쿼리가 입력된다. 각 쿼리는 Self-Attention을 통해 샷 간의 상호작용을 계산하고, Cross-Attention을 통해 인코더의 비디오 특징에서 필요한 정보를 추출한다. [입력 쿼리 → Cross-Attention 연산 → 갱신된 쿼리 임베딩] 과정을 거쳐 각 쿼리는 특정 샷의 고유한 정보를 압축하게 된다.

최종 출력단에는 세 개의 MLP 헤드가 존재한다. Range 헤드는 샷의 끝 프레임 인덱스를 분류 방식으로 예측하고, Intra-relation 헤드는 샷 내부의 전환 효과(Dissolve, Wipe 등)를 분류하며, Inter-relation 헤드는 이전 샷과의 관계(Hard Cut, Sudden Jump 등)를 판별한다. 손실 함수는 이 세 가지 분류 오차의 가중합으로 계산되어 모델을 안정적으로 최적화한다.

OmniShotCutBench에서 실시한 실험 결과, 제안 모델은 기존 SOTA 모델인 TransNetV2 및 AutoShot을 크게 상회하는 성능을 보였다. 특히 장면 전환의 정확도를 나타내는 Transition IoU에서 0.632를 기록하여 기존 모델(0.183~0.252) 대비 압도적인 정밀도를 입증했다.

Sudden Jump 탐지 정확도에서도 0.761을 달성하여 기존 모델들이 거의 잡아내지 못하던 미세한 불연속성을 효과적으로 식별해냈다. 전체적인 샷 범위 예측 성능인 Range F1 스코어는 0.883으로 가장 높은 수치를 기록했다.

Ablation Study를 통해 샷 범위를 회귀(Regression)가 아닌 이산적 분류(Classification) 문제로 정의한 것이 프레임 단위의 정밀한 경계 확정에 결정적인 역할을 했음을 확인했다. 또한 DINO 기반의 의미론적 클러스터링을 통한 합성 데이터 학습이 실제 영상 도메인으로의 일반화 성능을 높이는 데 기여했다.

본 연구는 샷 경계 검출을 단순 분할 문제가 아닌 '구조적 관계 예측'으로 재정의했다. 아키텍처는 DETR의 객체 탐지 메커니즘을 시계열 데이터로 확장한 형태이며, 2D 위치 임베딩을 3D(t, x, y)로 확장하여 시공간적 맥락을 보존한다. 디코더의 샷 쿼리는 비디오 내의 잠재적인 샷들을 병렬적으로 탐색하며, 각 쿼리는 독립적인 샷 슬롯으로 기능한다.

특히 주목할 점은 경계 예측 방식의 변화이다. 기존의 L1 Loss 기반 좌표 회귀 방식은 긴 시퀀스에서 단 1프레임의 오차도 허용하지 않는 SBD 작업의 특성상 최적화가 어려웠다. 이를 해결하기 위해 각 프레임 인덱스를 클래스로 하는 분류 문제로 전환하여 수렴 속도와 정확도를 모두 개선했다. 또한 'Sudden Jump'라는 새로운 범주를 정의하고 이를 탐지하기 위해 CoTracker3를 이용한 조밀한 모션 강도 추정 기법을 데이터 큐레이션 단계에 도입했다.

매우 정교한 예술적 전환 효과나 의미론적으로 복잡한 시네마틱 기법의 경우, 현재의 합성 데이터 파라미터만으로는 완벽히 모사하기 어려울 수 있다. 대규모 산업 수준의 전환 템플릿 라이브러리를 확보하여 학습 데이터를 더욱 보강할 필요가 있다.