본문으로 건너뛰기

embed_tokens.weight

토큰 임베딩 행렬

모델의 입력 토큰을 벡터로 매핑하는 가중치 행렬로서 공유된 어휘 순서를 기준으로 행렬을 추출해 CKA로 비교하면 전체 표현 구조의 유사성을 평가할 수 있으나 대규모 파인튜닝 이후에는 값이 재형성되어 판별 민감도가 떨어질 가능성이 있다.