임베딩 분산은 다의성이 아니라 빈도에 의해 결정된다: '문맥적 혼잡 지수(CPI)' 제안

작성자의 실험 방법론과 통계적 근거에 대해 흥미롭다는 반응이며, 특히 RAG 시스템에서의 실무적 적용 가능성에 주목하고 있다.

• RAG 시스템에서 검색 정확도가 떨어지는 경우, CPI가 높은(빈도가 높고 분산이 큰) 단어를 쿼리에서 가중치를 낮추거나 처리 방식을 변경해볼 것
• 임베딩 모델 압축 시 CPI가 낮은 안정적인 토큰에 더 많은 비트를 할당하여 효율성을 높이는 전략을 고려할 것

다의성(Polysemy)

— 하나의 단어가 두 가지 이상의 서로 연관된 의미를 가지는 언어적 현상이다. 이 글에서는 사전적 의미의 개수가 많을수록 임베딩 공간에서 벡터가 더 복잡하게 분포할 것이라는 가설의 핵심 변수로 사용됐다.

코사인 유사도(Cosine Similarity)

— 두 벡터 사이의 각도를 측정하여 유사성을 계산하는 방식이다. 작성자는 192개 단어에 대해 문맥별 임베딩 간의 평균 쌍별 코사인 유사도를 측정하여 임베딩의 분산 정도를 수치화했다.

스피어만 상관계수(Spearman Rho)

— 두 변수의 순위 사이의 통계적 의존성을 측정하는 비모수적 상관계수이다. 다의성이나 빈도가 임베딩 분산과 얼마나 밀접하게 연관되는지 검증하는 통계적 근거로 활용됐다.

문맥적 혼잡 지수(Contextual Promiscuity Index)

— 작성자가 제안한 새로운 지표(CPI)로, 특정 단어의 임베딩이 다양한 문맥에서 기하학적으로 얼마나 넓게 분산되는지를 나타낸다. 의미의 개수보다 단어가 얼마나 다양한 환경에서 등장하는지를 반영한다.