sigreg

SIGReg는 reconstruction-free 잠재 학습에서 표현 붕괴(collapse)를 방지하기 위한 가우시안 기반 정규화 기법이다. 배치 내 잠재의 통계적 특성을 제어하여 표현이 의미 있는 분산을 유지하도록 강제하고 예측 손실과 결합해 안정적인 임베딩 학습을 유도한다. 본 논문에서는 접두사 수준 예측 손실과 병합하여 잠재의 표현력을 보전한다.