nce-loss

노이즈 대조 손실은 배치 내 음성/양성 예시 간의 유사도를 최대화하고 부적합 예시를 최소화하는 학습 목표로, q_i와 p_i^+ 간의 코사인 유사도를 기반으로 한 확률 분포를 구성하여 역전파한다. 본 논문은 in-batch negatives를 활용하는 NCE 손실을 사용해 서로 다른 모달리티 쌍 간의 표현 정렬을 학습한다.