임베딩 이방성
BERT와 같은 언어 모델의 임베딩 벡터들이 전체 공간에 고르게 퍼지지 않고 좁은 원뿔 모양의 특정 방향으로 쏠리는 현상이다. 이로 인해 단어 간의 실제 의미적 유사도를 코사인 유사도로 정확히 측정하기 어려워지는 문제가 발생한다.