token-embedding

단어·토큰을 연속 실수 벡터로 매핑하는 파라미터 테이블로, 입력 텍스트를 모델이 처리할 수 있는 기하학적 표현으로 변환한다. 이 글에서는 모든 테스트된 모델에서 토큰 임베딩이 스펙트럼 상에서 일관된 '법칙'을 담고 있는 위치로 확인돼 계산적 핵심이 임베딩 쪽에 집중됨이 관찰됐다. 임베딩 내 구조는 이후의 계산 흐름과 기억·추론 특성에 직접적인 영향을 미쳤다.