본문으로 건너뛰기

mask-based-ssl

마스크 기반 자기지도학습

중급

입력의 일부를 마스킹하고 나머지 관측값으로 마스크된 부분을 예측하도록 학습하는 기법이다. 텍스트 영역에서는 BERT/MAE 계열이 대표적이며, 입력의 연관 관계를 임베딩 공간에 반영하는 수단으로 사용된다. 본 논문은 그래프 데이터에 이 기법을 적용하되, 핵심 노드 마스킹의 비효율을 완화하기 위해 적응적 샘플링을 도입했다.