wte

WTE는 모델의 입력 단계에서 토큰 ID를 연속 벡터로 변환하는 가중치 행렬로서 각 토큰에 대응하는 임베딩 벡터를 제공한다. GPT-2 계열에서는 입력 토큰 인덱스로 해당 행을 조회해 임베딩을 얻고 이 글에서는 해당 행렬을 그대로 시각화 대상으로 사용해 토큰 분포를 관찰했다. WTE는 학습 과정에서 형성된 의미적 군집을 반영하기 때문에 토큰 간 유사성 탐색의 핵심 자원이 된다.