우리 연구실 비디오 VLM 평가 결과: 파이프라인 구성(샘플링·분할·해상도·프롬프트)이 모델 교체보다 영향력이 컸음

연구실 비디오 VLM 평가에서 예상과 달리 모델 가족 교체보다 프레임 샘플링 밀도, 장면 분할 전략, 해상도, 프롬프트 구조 같은 파이프라인 요소가 성능 변화에 더 큰 영향을 줬다. 이 관찰은 모델 비교를 할 때 파이프라인 설정이 결과를 좌우할 수 있으므로 단순 모델 스왑에 의존해서는 안 된다는 문제 제기를 낳는다.

이에 따라 저자들은 작업을 엄밀히 정의하고(검색·이상탐지·요약·구조화 추출), 생산 유사 영상과 하드 케이스·근접 부정 사례를 포함한 평가세트를 만든 뒤 해당 작업 기준으로 점수를 매기고 모든 실행을 추적하는 'configuration-first' 평가 방식을 도입했다. 이렇게 쌓인 실행 트레이스는 도메인 특화 라벨 데이터로 성장해 회귀 탐지와 재현성 확보에 기여한다.

결과적으로 비디오 이해 시스템에서는 먼저 파이프라인 구성 요소들을 체계적으로 튜닝하고 실험을 추적하는 것이 비용과 리스크 측면에서 더 효율적이라는 결론이 도출된다. 저자는 재현 가능한 허니스를 공개해 다른 팀의 유사 관찰 여부를 묻고 있어, 파이프라인 우선 접근의 범용성 검증이 남아 있다.