왜 내 서랍을 열 수 없나? 제로샷 조합 행동 인식에서 객체 주도 숏컷 완화

왜 중요한가

제로샷 조합 행동 인식에서는 동사와 객체의 조합 수가 기하급수적으로 커지기 때문에 훈련에 없는 조합을 정확히 인식하는 능력이 실용적 모델의 핵심이다. 이 논문은 기존 모델들이 객체의 정적 신호와 학습된 공동발생 통계에 의존해 동사 예측에서 숏컷을 학습하는 문제를 규명했고, 이 문제를 줄이는 방법을 도입해 unseen 조합에서 실질적 성능 향상을 확인했다. 연구 결과는 조합 희소성에 취약한 영상 기반 인식 시스템에서 시간적 단서를 더 잘 활용하도록 모델을 설계하는 방향을 제시한다.

핵심 기여

훈련 편향 진단을 위한 FSP, FCP, Compositional Gap 도입

거짓-학습-예측(FSP)과 거짓 공동발생 예측(FCP)을 정의해 unseen 샘플이 얼마나 빈번한 훈련 조합으로 수렴하는지를 정량적으로 측정했고, Compositional Gap을 통해 조합 예측이 개별 성능의 곱을 상회하는지를 계산하여 공동발생 편향의 영향을 계량했다.

Co-occurrence Prior Regularization(CPR)의 설계와 배치 적응적 라벨 확장

훈련에 존재하지 않는 조합을 합성하여 감독 신호로 투입하고, 빈번한 훈련 조합을 hard-negative로 간주해 마진 손실로 억제하는 CPR을 도입했으며, 매 미니배치마다 확장된 라벨 공간만을 대상으로 크로스엔트로피를 계산해 최적화의 안정성을 유지했다.

Temporal Order Regularization for Composition(TORC)를 통한 시간적 기반 동사 표현 학습

원본·역순·무작위 셔플된 프레임 뷰를 활용하여 원본과 역순 특징의 코사인 유사도를 분리하고, 시간구조가 깨진 경우 동사 예측 분포의 엔트로피를 높이는 손실을 결합해 정적 객체 단서에 대한 의존을 줄이고 시간적 증거에 민감한 동사 표현을 학습했다.

개방세계 평가와 EK100-com 데이터셋 공개로 일반화성 검증

테스트 라벨에 의존한 편향 보정을 배제한 open-world 평가를 기본으로 채택했고, EPIC-KITCHENS-100에서 재구성한 EK100-com을 공개해 더 심한 조합 희소성 환경에서도 RCORE의 개선 효과를 검증했다.

핵심 아이디어 이해하기

문제의 출발점은 학습 데이터의 조합 희소성과 동사 학습의 난이도 차이다. 객체는 단일 프레임에서 시각적으로 쉽게 식별되는 반면, 동사는 시간적 단서가 필요해 학습 난도가 높으며 이로 인해 모델은 상대적으로 쉬운 객체 신호와 훈련상의 공동발생 통계를 숏컷으로 활용하는 경향이 있다. 이러한 경향은 unseen 조합에서 동사 예측을 왜곡해 조합 일반화를 저해한다. RCORE의 핵심 직관은 두 가지 원인을 동시에 겨냥하는 것이다. 하나는 훈련에 없는 조합을 인위적으로 생성해 모델이 그 조합을 보도록 만드는 방식으로 공동발생 편향의 직접적 감독을 제공하는 것이고, 다른 하나는 시간 순서를 파괴한 입력에 민감하도록 동사 표현을 강제해 정적 객체 신호가 아닌 시간적 증거에 의존하게 하는 것이다. 이 결합으로 모델은 '무엇'을 예측할 때 정적 공동발생 우선성 대신 '어떻게' 시간적으로 동작이 전개되는지를 고려하게 되고, 그 결과 unseen 조합에서의 예측이 개선되는 것으로 확인되었다.

방법론

전체 접근은 기존의 인코더 기반 VLM 백본(예: CLIP, InternVideo2)에 어댑터를 붙이고(예: AIM, LoRA) 프레임 수준 특징을 동사용과 객체용으로 분리해 팩터화된 조합 로짓을 구성하는 구조를 유지한 상태에서 추가 정규화 항을 도입하는 것이다. CPR은 훈련 샘플 X_i의 고운동 영역에 다른 샘플의 정적 객체 패치들을 주입해 합성 비디오 X~_i를 만들고, 합성된 조합에 대해 소프트 라벨을 부여해 모델이 본 적 없는 조합을 학습하게 만든다. CPR은 또한 합성 조합과 빈번한 훈련 조합 간에 마진 손실을 적용해 빈번조합이 과도한 점수를 받지 않도록 억제하며, 미니배치 단위로 확장된 라벨 집합(Y_exp)을 구성해 전체 조합 공간을 전부 부정적으로 취급하지 않도록 최적화를 안정화했다. TORC는 원본 프레임 시퀀스, 역순 시퀀스, 그리고 랜덤 셔플된 시퀀스를 각각 동사 인코더에 통과시켜 원본과 역순 특징의 코사인 유사도를 낮추는 항(L_cos)과 셔플된 뷰의 동사 예측 분포 엔트로피를 높이는 항(L_ent)을 조합한 손실(L_TORC)을 적용함으로써 동사 표현이 시간순서에 민감해지도록 유도했다.

주요 결과

주요 벤치마크에서 RCORE는 unseen 조합 성능을 일관되게 개선했다. Sth-com에서 CLIP 백본 기준으로 verb@unseen-comp를 4.6포인트, unseen composition 정확도를 3.8포인트 향상시켰고 InternVideo2 백본에서는 verb@unseen-comp 3.4포인트와 unseen composition 4.5포인트 향상을 달성했다. EK100-com처럼 조합 희소성이 더 심한 데이터셋에서는 CLIP 기준 unseen composition이 6.9포인트, InternVideo2 기준 7.0포인트 개선되어 희소 환경에서의 일반화 향상이 더 두드러졌다. 진단 지표 관점에서 RCORE는 학습 중 False Seen Prediction(FSP)과 False Co-occurrence Prediction(FCP)의 증가를 억제해 baseline 대비 FSP/FCP가 낮게 유지되었고, 특히 verb-collapse 비중이 줄어들어 동사 예측이 객체 편향에서 벗어난 것으로 확인되었다.

기술 상세

아키텍처는 프레임별 특징 F∈ℝ^{T×D}을 추출한 뒤 verb용 특징 F^V∈ℝ^{T×D}과 object용 특징 f^O∈ℝ^{D}로 변환하는 전처리 구조를 유지했다. 텍스트 임베딩 E^V, E^O는 클래스별 프롬프트를 텍스트 인코더에 입력해 얻었고, 시각–언어 유사도는 코사인 유사도로 계산해 verb/object 로그잇 S_V, S_O를 구한 뒤 브로드캐스트 합(⊞)으로 조합 로그잇 S_C를 구성했다. CPR 합성은 수식(3)처럼 고운동 마스크 M_i^{(k)}을 이용해 X_i의 고운동 영역에 다른 샘플의 정적 프레임을 주입하고 소프트 라벨(식(4),(5))을 생성했으며, 합성 조합 y_{i,new}는 마진 손실(식(7))을 통해 빈번한 hard negative보다 낮은 점수를 받도록 제약했다. TORC는 원본과 역순 특징의 코사인 유사도 L_cos를 최소화하고, 셔플된 뷰에 대해 동사 예측 확률 분포의 음(−)엔트로피 L_ent를 최소화해(실제로는 엔트로피를 증가시키는 방향으로) 시간순서 민감성을 높이는 항을 결합했다. 전체 손실은 L_total = αL_com + βL_comp + γL_TORC + δL_CPR 형태로 가중합했고, 실험에서는 AIM(ClIP)/LoRA(InternVideo2) 어댑터를 사용해 백본 전체를 동결한 상태에서 추가 파라미터만 학습했다.

한계점

논문은 디코더 기반 VLM의 출력이 고정된 조합 공간의 명시적 로그잇을 제공하지 않아 본 방법의 적용이 제한적일 수 있음을 명시했다. CPR 적용 시 seen 조합 정확도가 일부 하락하는 seen–unseen 트레이드오프가 관찰되어 보수적 운영에서는 추가 튜닝이 필요하다는 점이 보고되었다. 또한 합성 조합과 마진 설계는 하이퍼파라미터(λ, m, 배치 크기 등)에 민감하며, 이로 인해 다른 데이터셋이나 라벨 분포에 재적용할 때 재현성 확보를 위한 설정 탐색이 필요하다.

실무 활용

RCORE는 기존 인코더 기반 VLM 파이프라인에 추가 손실과 합성 데이터를 주입하는 방식으로 구성되어 있어, 어댑터 기반 미세조정 구조를 사용하는 환경에서 상대적으로 낮은 비용으로 적용 가능하다. 공개된 GitHub 저장소를 통해 합성 절차와 손실 함수를 재현할 수 있으므로 연구·개발 파이프라인에 통합해 unseen 조합 강건성을 개선할 수 있다.

비디오 인식 모델이 대규모 조합 공간에서 훈련 데이터 희소성 때문에 동사 인식에 실패하는 상황에서 unseen 조합 일반화 개선을 목적으로 적용할 수 있다.
가전·로봇 등 행동 인식이 안전성이나 정밀성을 요하는 실환경 시스템에서 시간적 단서를 더 잘 학습시켜 오작동 위험을 줄이는 용도로 활용할 수 있다.
데이터 라벨링 비용을 줄이기 위해 일부 조합만 라벨된 데이터에서 합성 감독으로 조합 커버리지를 확장하는 보조 기법으로 사용할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

zero-shot compositional action recognition(제로샷 조합 행동 인식)RCORE(RCORE)CPR(공동발생 우선 규제)TORC(시간순서 정규화)FSP/FCP(거짓-학습 지표)

용어 해설

제로샷 조합 행동 인식(Zero-Shot Compositional Action Recognition): — 학습 시 관찰된 동사와 명사(객체) 원소들을 조합하여 학습에 없던 동사–객체 쌍을 인식하는 문제로, 테스트 시에는 기존 어휘의 새로운 조합(unseen composition)만 등장하고 새로운 단어는 등장하지 않는다.
공동발생 우선성(Co-occurrence Prior): — 학습 데이터에서 특정 동사와 객체 쌍이 자주 함께 등장하는 통계적 편향으로, 모델이 시간적·동작적 근거 대신 빈번한 쌍에 기반해 예측하는 숏컷을 유발한다.
시간순서 정규화(Temporal Order Regularization): — 영상의 프레임 순서를 보존하는 정보에 모델이 의존하도록 유도하는 손실 구성으로, 역순·무작위 섞임에 민감한 표현을 학습시켜 동사 인식의 시간적 기초를 강화한다.
거짓-학습-예측(FSP)(False Seen Prediction (FSP)): — unseen 샘플이 잘못 분류될 때 그 예측이 훈련에 등장한(seen) 조합으로 수렴하는 비율로, 객체 주도 숏컷의 지표로 사용되어 동사 예측이 공동발생 통계에 의존하는지를 계량한다.
조합 격차(Compositional Gap): — 모델의 조합 예측 정확도(Acc^C)에서 동사 정확도와 객체 정확도의 독립적 곱(Acc^V × Acc^O)을 뺀 값으로, 공동 예측이 개별 성능을 초과하는지를 측정하는 진단 지표이다.

왜 내 서랍을 열 수 없나? 제로샷 조합 행동 인식에서 객체 주도 숏컷 완화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드