왜 내 서랍을 열 수 없나? 제로샷 조합 행동 인식에서 객체 주도 숏컷 완화

제로샷 조합 행동 인식에서는 동사와 객체의 조합 수가 기하급수적으로 커지기 때문에 훈련에 없는 조합을 정확히 인식하는 능력이 실용적 모델의 핵심이다. 이 논문은 기존 모델들이 객체의 정적 신호와 학습된 공동발생 통계에 의존해 동사 예측에서 숏컷을 학습하는 문제를 규명했고, 이 문제를 줄이는 방법을 도입해 unseen 조합에서 실질적 성능 향상을 확인했다. 연구 결과는 조합 희소성에 취약한 영상 기반 인식 시스템에서 시간적 단서를 더 잘 활용하도록 모델을 설계하는 방향을 제시한다.

문제의 출발점은 학습 데이터의 조합 희소성과 동사 학습의 난이도 차이다. 객체는 단일 프레임에서 시각적으로 쉽게 식별되는 반면, 동사는 시간적 단서가 필요해 학습 난도가 높으며 이로 인해 모델은 상대적으로 쉬운 객체 신호와 훈련상의 공동발생 통계를 숏컷으로 활용하는 경향이 있다. 이러한 경향은 unseen 조합에서 동사 예측을 왜곡해 조합 일반화를 저해한다. RCORE의 핵심 직관은 두 가지 원인을 동시에 겨냥하는 것이다. 하나는 훈련에 없는 조합을 인위적으로 생성해 모델이 그 조합을 보도록 만드는 방식으로 공동발생 편향의 직접적 감독을 제공하는 것이고, 다른 하나는 시간 순서를 파괴한 입력에 민감하도록 동사 표현을 강제해 정적 객체 신호가 아닌 시간적 증거에 의존하게 하는 것이다. 이 결합으로 모델은 '무엇'을 예측할 때 정적 공동발생 우선성 대신 '어떻게' 시간적으로 동작이 전개되는지를 고려하게 되고, 그 결과 unseen 조합에서의 예측이 개선되는 것으로 확인되었다.

전체 접근은 기존의 인코더 기반 VLM 백본(예: CLIP, InternVideo2)에 어댑터를 붙이고(예: AIM, LoRA) 프레임 수준 특징을 동사용과 객체용으로 분리해 팩터화된 조합 로짓을 구성하는 구조를 유지한 상태에서 추가 정규화 항을 도입하는 것이다. CPR은 훈련 샘플 X_i의 고운동 영역에 다른 샘플의 정적 객체 패치들을 주입해 합성 비디오 X~_i를 만들고, 합성된 조합에 대해 소프트 라벨을 부여해 모델이 본 적 없는 조합을 학습하게 만든다. CPR은 또한 합성 조합과 빈번한 훈련 조합 간에 마진 손실을 적용해 빈번조합이 과도한 점수를 받지 않도록 억제하며, 미니배치 단위로 확장된 라벨 집합(Y_exp)을 구성해 전체 조합 공간을 전부 부정적으로 취급하지 않도록 최적화를 안정화했다. TORC는 원본 프레임 시퀀스, 역순 시퀀스, 그리고 랜덤 셔플된 시퀀스를 각각 동사 인코더에 통과시켜 원본과 역순 특징의 코사인 유사도를 낮추는 항(L_cos)과 셔플된 뷰의 동사 예측 분포 엔트로피를 높이는 항(L_ent)을 조합한 손실(L_TORC)을 적용함으로써 동사 표현이 시간순서에 민감해지도록 유도했다.

주요 벤치마크에서 RCORE는 unseen 조합 성능을 일관되게 개선했다. Sth-com에서 CLIP 백본 기준으로 verb@unseen-comp를 4.6포인트, unseen composition 정확도를 3.8포인트 향상시켰고 InternVideo2 백본에서는 verb@unseen-comp 3.4포인트와 unseen composition 4.5포인트 향상을 달성했다. EK100-com처럼 조합 희소성이 더 심한 데이터셋에서는 CLIP 기준 unseen composition이 6.9포인트, InternVideo2 기준 7.0포인트 개선되어 희소 환경에서의 일반화 향상이 더 두드러졌다. 진단 지표 관점에서 RCORE는 학습 중 False Seen Prediction(FSP)과 False Co-occurrence Prediction(FCP)의 증가를 억제해 baseline 대비 FSP/FCP가 낮게 유지되었고, 특히 verb-collapse 비중이 줄어들어 동사 예측이 객체 편향에서 벗어난 것으로 확인되었다.

아키텍처는 프레임별 특징 F∈ℝ^{T×D}을 추출한 뒤 verb용 특징 F^V∈ℝ^{T×D}과 object용 특징 f^O∈ℝ^{D}로 변환하는 전처리 구조를 유지했다. 텍스트 임베딩 E^V, E^O는 클래스별 프롬프트를 텍스트 인코더에 입력해 얻었고, 시각–언어 유사도는 코사인 유사도로 계산해 verb/object 로그잇 S_V, S_O를 구한 뒤 브로드캐스트 합(⊞)으로 조합 로그잇 S_C를 구성했다. CPR 합성은 수식(3)처럼 고운동 마스크 M_i^{(k)}을 이용해 X_i의 고운동 영역에 다른 샘플의 정적 프레임을 주입하고 소프트 라벨(식(4),(5))을 생성했으며, 합성 조합 y_{i,new}는 마진 손실(식(7))을 통해 빈번한 hard negative보다 낮은 점수를 받도록 제약했다. TORC는 원본과 역순 특징의 코사인 유사도 L_cos를 최소화하고, 셔플된 뷰에 대해 동사 예측 확률 분포의 음(−)엔트로피 L_ent를 최소화해(실제로는 엔트로피를 증가시키는 방향으로) 시간순서 민감성을 높이는 항을 결합했다. 전체 손실은 L_total = αL_com + βL_comp + γL_TORC + δL_CPR 형태로 가중합했고, 실험에서는 AIM(ClIP)/LoRA(InternVideo2) 어댑터를 사용해 백본 전체를 동결한 상태에서 추가 파라미터만 학습했다.

논문은 디코더 기반 VLM의 출력이 고정된 조합 공간의 명시적 로그잇을 제공하지 않아 본 방법의 적용이 제한적일 수 있음을 명시했다. CPR 적용 시 seen 조합 정확도가 일부 하락하는 seen–unseen 트레이드오프가 관찰되어 보수적 운영에서는 추가 튜닝이 필요하다는 점이 보고되었다. 또한 합성 조합과 마진 설계는 하이퍼파라미터(λ, m, 배치 크기 등)에 민감하며, 이로 인해 다른 데이터셋이나 라벨 분포에 재적용할 때 재현성 확보를 위한 설정 탐색이 필요하다.