소프트맥스 병목
클래스 확률을 내기 위한 softmax의 표현력 한계로, 임베딩 차원 d가 조건부 분포의 행렬 랭크보다 작으면 정확한 분포 근사가 불가능해지는 문제이다. 본문에서는 다중 해시 좌표와 좌표별 국지적 가중치 행렬로 랭크 상한을 H×d로 끌어올려 이 한계를 부분적으로 완화한다. 이로 인해 고엔트로피 추론 과제에서 성능 향상이 관찰된다.