구면 K-평균
벡터의 크기 정보보다 방향 유사도(cosine similarity)를 기준으로 클러스터를 형성하는 알고리즘으로, FFN 입력 Activation과 같이 방향 정렬이 중요한 표현의 군집화에 적합하다. 입력 벡터들을 단위 구면으로 정규화한 뒤 코사인 유사도를 최대화하는 방식으로 중심(centroid)을 찾는다. 이 연구에서는 각 FFN 블록의 Activation을 의미 공간 기준으로 분할해 Router 초기화와 Expert 할당의 기준으로 삼는 데 사용되었다.
