token-embeddings

토큰 임베딩은 개별 토큰을 고정 길이 벡터로 바꾸어 모델 내부의 연산 입력을 구성한다. 임베딩 벡터들 사이의 기하학적 관계가 attention 연산의 입력 분포를 결정하므로 초기 상태 설계에서 핵심 역할을 한다. FAOA 맥락에서는 입력 필드가 임베딩 공간의 초기 확률분포를 규정하는 수단으로 취급된다.