비대조 표현 학습을 위한 공동 임베딩 아키텍처의 변분 의미론 적용 연구

저자가 직접 논문의 핵심 수학적 개념을 설명했으며, 비대조 학습에서의 안정성 문제 해결 방식에 대해 전문적인 관심이 집중됐다.

• 비대조 학습 기반의 임베딩 모델을 설계할 때 Student-t 분포를 우도로 고려하여 학습 안정성을 높일 수 있다
• OOD 탐지가 필요한 시스템에서 특징별 불확실성을 학습하는 변분 아키텍처를 도입하여 탐지 정확도를 개선할 수 있다

공동 임베딩 아키텍처(Joint-Embedding Architecture)

— 두 개 이상의 입력 데이터를 공통된 벡터 공간으로 매핑하여 데이터 간의 관계를 학습하는 구조이다. 비지도 학습에서 데이터의 의미적 유사성을 파악하는 데 핵심적인 역할을 하며, 대조 학습 없이도 효율적인 표현 학습을 가능하게 한다.

변분 의미론(Variational Semantics)

— 데이터의 잠재 표현을 확률 분포로 모델링하여 불확실성을 추론하는 기법이다. 모델이 단순히 고정된 값을 출력하는 대신 확률적 범위를 학습하게 함으로써 데이터의 모호성이나 이상치 탐지 성능을 높이는 데 기여한다.

두터운 꼬리 우도(Heavy-tailed Likelihood)

— 정규 분포보다 꼬리 부분이 두꺼운 확률 분포(예: Student-t 분포)를 우도 함수로 사용하는 방식이다. 이상치에 덜 민감하게 반응하여 학습의 안정성을 높이며, 가우시안 분포를 사용할 때 발생하는 모델 붕괴 현상을 방지하는 효과가 있다.

비등방성 불확실성(Anisotropic Uncertainty)

— 모든 방향으로 동일하지 않고 특징별로 서로 다른 크기를 갖는 불확실성을 의미한다. 데이터의 특정 차원이나 속성에 따라 신뢰도가 다름을 모델이 인지하게 하여 하류 작업의 판단 근거를 정교화한다.