본문으로 건너뛰기

static-embedding

정적 임베딩 테이블

중급

정적 임베딩 테이블은 문맥 의존적 변환을 거치기 전 각 토큰에 고정된 벡터를 저장하는 구조이다. 이 테이블은 모델 학습 과정에서 고정된 토큰별 표현을 학습해 Transformer의 입력으로 제공되며, attention이나 문맥 적용 없이 토큰 자체의 분포만 반영한다. 정적 임베딩 분석은 문맥 효과를 배제한 순수한 토큰 수준의 의미 연관을 드러낸다.