Meta V-JEPA 2.1 모델의 견고성 연구 결과: 크기가 클수록 항상 더 나은 것은 아니다

연구의 엄격한 방법론과 사전 등록된 가설 검증 방식에 대해 긍정적인 반응이 예상되며, 특히 모델 스케일링의 한계를 지적한 부분에 대해 기술적 논의가 활발하다.

• V-JEPA 모델을 사용할 때 무조건 가장 큰 2B 모델을 선택하기보다 1B 모델과의 견고성 비교를 선행해야 한다.
• 데이터 증강(Augmentation) 시 수평 반전이 모델 표현을 크게 바꿀 수 있음을 인지하고 설계해야 한다.

비디오 조인트 임베딩 예측 아키텍처(V-JEPA)

— Meta에서 개발한 비디오 이해 모델로, 픽셀을 직접 예측하는 대신 추상적인 잠재 공간에서 누락된 부분을 예측하는 방식으로 학습한다. 비디오의 시간적, 공간적 맥락을 파악하는 데 특화되어 있다.

표현 편류(Representational Drift)

— 입력 데이터에 노이즈나 변형이 가해졌을 때 모델 내부의 벡터 표현이 원래의 깨끗한 데이터와 얼마나 멀어지는지를 나타내는 현상이다. 이 수치가 높을수록 모델이 변형에 민감하게 반응함을 의미한다.

허브 마진화(Hub Marginalization)

— 심층 비전 트랜스포머(ViT)에서 레이어가 깊어질수록 특정 정보가 과도하게 섞이거나 소실되어 오히려 성능이 저하되는 현상이다. 모델 크기가 커질 때 견고성이 비단조적으로 변하는 원인으로 지목된다.

방향 등변성(Orientation Equivariant)

— 입력 이미지나 비디오의 방향이 바뀌었을 때 모델의 출력 표현도 그에 상응하게 변하는 성질이다. 이 성질이 없으면 좌우 반전 등 단순한 변형에도 모델이 완전히 다른 데이터로 인식할 수 있다.