masked-prediction
마스크된 예측
마스크된 예측은 입력의 일부 토큰을 숨기고 가시 토큰으로부터 숨긴 토큰의 목표 표현을 예측하는 학습 목표이다. 이 방식은 픽셀 수준 재구성 대신 잠재 벡터를 타깃으로 삼아 의미적 정보를 더 직접적으로 학습한다. JEPA와 본 논문의 핵심 학습 신호는 이러한 마스크 기반 잠재 예측 손실이다.
중급
마스크된 예측
마스크된 예측은 입력의 일부 토큰을 숨기고 가시 토큰으로부터 숨긴 토큰의 목표 표현을 예측하는 학습 목표이다. 이 방식은 픽셀 수준 재구성 대신 잠재 벡터를 타깃으로 삼아 의미적 정보를 더 직접적으로 학습한다. JEPA와 본 논문의 핵심 학습 신호는 이러한 마스크 기반 잠재 예측 손실이다.