GPT-2가 'Trump' 토큰에서 학습한 내용

커뮤니티는 시각화의 간단명료한 설정과 명확한 비교 방식에 대해 긍정적인 관심을 보였다. 많은 참여자가 임계화가 정보 손실을 야기한다는 점과 연속 좌표 보존의 세부적 유사성 유지 효과에 공감했다. 일부는 정적 임베딩만으로 얻을 수 있는 통찰의 유용성을 인정하면서도 문맥 의존 표현과의 비교 필요성을 지적했다.

• 임베딩 유사성 분석을 수행할 때는 좌표 처리 방식(연속 보존 vs 임계화)이 결과에 큰 영향을 미치므로 목적에 맞게 방법을 선택해야 한다. 예를 들어 집단별 대표적 용어 추출에는 이산화가 유용할 수 있으나 세부 인물 관계 분석에는 연속 좌표 보존이 적합하다. 또한 t-SNE 투영은 시각적 인사이트는 주지만 매개변수 의존성 때문에 반복 실험으로 안정성을 확인해야 한다.

Token embedding

— 토큰 임베딩은 각 단어 또는 토큰을 고정 길이 실수 벡터로 대응시키는 표준 표현이다. 입력 토큰이 임베딩 테이블에서 인덱스로 조회되어 고정된 차원 벡터가 반환되고 이 벡터가 이후 Transformer 계층의 입력으로 사용된다. 임베딩은 사전학습 데이터 분포를 반영하여 의미적 유사성을 수치적으로 보존하므로 유사 토큰 검색이나 클러스터링에서 중요하다.

t-SNE

— t-SNE는 고차원 벡터의 국소적 유사성 구조를 저차원에 보존하도록 매핑하는 비선형 차원 축소 기법이다. 입력으로 고차원 임베딩 쌍들 사이의 확률적 유사도를 계산하고 이를 저차원 점들 사이의 유사도와 정렬하도록 최적화한다. 대규모 임베딩 분포를 시각화해 군집과 근접 관계를 직관적으로 확인할 때 널리 사용된다.

Discretization

— 좌표 이산화는 각 임베딩 좌표에 임계값을 적용해 연속값을 이진 또는 유한 상태로 변환하는 과정이다. 이 기법은 작은 값의 잡음을 제거하고 계산상 이웃 탐색 기준을 단순화하기 위해 각 차원 값을 임계치 기반으로 자른 다음 유사도 계산을 수행한다. 이산화는 미세한 연속적 구분을 손실시켜 결과적으로 더 일반화된 이웃 집단을 만들 수 있다.

Nearest Neighbors

— 최근접 이웃 탐색은 주어진 임베딩을 기준으로 유클리드 거리나 코사인 유사도 같은 척도로 가장 유사한 토큰들을 찾는 절차이다. 입력 임베딩과 후보 임베딩들 사이의 거리를 계산해 상위 k개를 선택하거나 임계값 기준으로 이웃을 판정한다. 이 방법은 임베딩 공간에서 의미적으로 연결된 항목들을 식별하는 데 핵심 역할을 한다.

Static embedding

— 정적 임베딩 테이블은 문맥 의존적 변환을 거치기 전 각 토큰에 고정된 벡터를 저장하는 구조이다. 이 테이블은 모델 학습 과정에서 고정된 토큰별 표현을 학습해 Transformer의 입력으로 제공되며, attention이나 문맥 적용 없이 토큰 자체의 분포만 반영한다. 정적 임베딩 분석은 문맥 효과를 배제한 순수한 토큰 수준의 의미 연관을 드러낸다.