GPT-2 Small WTE 32,070토큰을 t-SNE와 MST로 모바일에서 인터랙티브하게 탐색하는 시각화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

GPT-2-small의 WTE에서 32,070개 알파벳 토큰 행을 시각화 대상으로 삼아 먼저 임베딩을 압축하고 t-SNE로 2차원 좌표를 생성한 뒤 해당 좌표에서 최소 신장 트리(MST)를 계산해 간선을 표시하는 방식이다. 사용자 인터페이스는 모바일을 지원하며 핀치 줌과 토큰 탭을 통해 인접 연결을 확인하거나 이웃을 따라 그래프를 걷는 탐색이 가능하다. 이렇게 얻은 시각화는 학습된 임베딩의 지역적 유사성과 대표적 연결을 명확히 드러내며 대규모 임베딩 표를 직관적으로 조사하는 데 유용하다.

섹션별 상세

입력 데이터의 규모와 성격은 GPT-2-small의 WTE에서 추출한 32,070개의 알파벳 토큰 행들이다. 이 행렬의 각 행이 고차원 임베딩 벡터로서 시각화 파이프라인의 입력이 되고 별도의 순방향 연산(forward pass)은 수행되지 않았다. 수치적 근거로 32,070 토큰이라는 구체적 항목이 제시되어 있으며 이는 임베딩 공간의 전체 분포를 직접 탐색하려는 목적을 분명히 한다.

인터랙티브 UI는 모바일에서도 동작하도록 설계되어 있으며 핀치 줌, 토큰 탭으로 인접 연결 보기, 이웃 탭으로 그래프를 탐색하는 동작을 지원한다. 사용자의 입력은 화면 제스처로 좌표 변환 및 노드 선택 이벤트를 트리거하며 선택된 노드의 근접 연결을 조회해 시각적 강조를 업데이트하는 흐름으로 작동한다. 이 방식은 휴대환경에서 토큰 간 유사성의 지역적 관계를 직관적으로 확인할 수 있게 해 탐색성과 접근성을 모두 높인다.

배치와 간선 생성은 두 단계로 이루어지며 먼저 임베딩 테이블을 압축한 표현에 t-SNE를 적용해 2차원 좌표를 얻고 그 좌표 공간에서 최소 신장 트리(MST)를 계산해 간선을 생성한다. 이 과정에서 t-SNE는 고차원에서의 지역적 유사성을 저차원에 보존하는 확률적 방식으로 작동하고 MST는 좌표상에서 가장 대표적인 근접 연결만을 남겨 시각적 혼잡을 줄인다. 결과적으로 각 선분은 '진짜 최근접 관계'를 나타내도록 설계되어 시각적으로 관찰 가능한 군집과 연결성이 의미 있게 연동된다.

용어 해설

Embedding Table: — 임베딩 테이블은 각 토큰을 고정 차원 벡터로 저장한 행렬로서 토큰 인덱스를 행 인덱스로 매핑한다. 본문에서는 GPT-2-small의 WTE에서 32,070개 알파벳 토큰을 행으로 사용해 시각화 대상 벡터를 제공하며 이 행렬의 행들이 시각화의 입력 데이터가 된다. 임베딩 테이블은 토큰 간 유사도를 계산하는 기초 자료로서 차원 축소와 그래프 생성의 출발점이 된다.
WTE (Word Token Embeddings): — WTE는 모델의 입력 단계에서 토큰 ID를 연속 벡터로 변환하는 가중치 행렬로서 각 토큰에 대응하는 임베딩 벡터를 제공한다. GPT-2 계열에서는 입력 토큰 인덱스로 해당 행을 조회해 임베딩을 얻고 이 글에서는 해당 행렬을 그대로 시각화 대상으로 사용해 토큰 분포를 관찰했다. WTE는 학습 과정에서 형성된 의미적 군집을 반영하기 때문에 토큰 간 유사성 탐색의 핵심 자원이 된다.
t-SNE: — t-SNE는 고차원 벡터의 지역 구조를 저차원에 보존하도록 확률적 유사도 기반으로 배치하는 차원 축소 기법이다. 입력으로 고차원 임베딩을 받아 점들 간의 쌍별 유사도를 확률 분포로 변환한 뒤 저차원 좌표에서의 분포와의 차이를 KL 발산으로 최소화해 2차원 좌표를 산출한다. 본문에서는 임베딩을 압축한 표현에 t-SNE를 적용해 시각적 클러스터와 근접 관계를 도출했다.
Minimum Spanning Tree: — 최소 신장 트리는 그래프의 모든 정점을 연결하면서 간선 가중치 합을 최소로 하는 트리 구조로서 노드 간 대표 연결성을 강조한다. 해당 시각화에서는 t-SNE 공간에서 근접 관계를 기반으로 MST를 계산해 각 선이 실제로 '가장 가까운' 연결을 나타내도록 했고 이를 통해 과도한 간선 표시를 줄이고 의미 있는 경로만 시각화했다. MST는 시각적 복잡도를 낮추면서 토큰군의 구조적 관계를 더 명확히 드러낸다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

섹션별 상세

용어 해설

Embedding Table: — 임베딩 테이블은 각 토큰을 고정 차원 벡터로 저장한 행렬로서 토큰 인덱스를 행 인덱스로 매핑한다. 본문에서는 GPT-2-small의 WTE에서 32,070개 알파벳 토큰을 행으로 사용해 시각화 대상 벡터를 제공하며 이 행렬의 행들이 시각화의 입력 데이터가 된다. 임베딩 테이블은 토큰 간 유사도를 계산하는 기초 자료로서 차원 축소와 그래프 생성의 출발점이 된다.
WTE (Word Token Embeddings): — WTE는 모델의 입력 단계에서 토큰 ID를 연속 벡터로 변환하는 가중치 행렬로서 각 토큰에 대응하는 임베딩 벡터를 제공한다. GPT-2 계열에서는 입력 토큰 인덱스로 해당 행을 조회해 임베딩을 얻고 이 글에서는 해당 행렬을 그대로 시각화 대상으로 사용해 토큰 분포를 관찰했다. WTE는 학습 과정에서 형성된 의미적 군집을 반영하기 때문에 토큰 간 유사성 탐색의 핵심 자원이 된다.
t-SNE: — t-SNE는 고차원 벡터의 지역 구조를 저차원에 보존하도록 확률적 유사도 기반으로 배치하는 차원 축소 기법이다. 입력으로 고차원 임베딩을 받아 점들 간의 쌍별 유사도를 확률 분포로 변환한 뒤 저차원 좌표에서의 분포와의 차이를 KL 발산으로 최소화해 2차원 좌표를 산출한다. 본문에서는 임베딩을 압축한 표현에 t-SNE를 적용해 시각적 클러스터와 근접 관계를 도출했다.
Minimum Spanning Tree: — 최소 신장 트리는 그래프의 모든 정점을 연결하면서 간선 가중치 합을 최소로 하는 트리 구조로서 노드 간 대표 연결성을 강조한다. 해당 시각화에서는 t-SNE 공간에서 근접 관계를 기반으로 MST를 계산해 각 선이 실제로 '가장 가까운' 연결을 나타내도록 했고 이를 통해 과도한 간선 표시를 줄이고 의미 있는 경로만 시각화했다. MST는 시각적 복잡도를 낮추면서 토큰군의 구조적 관계를 더 명확히 드러낸다.

GPT-2 Small WTE 32,070토큰을 t-SNE와 MST로 모바일에서 인터랙티브하게 탐색하는 시각화

TL;DR

섹션별 상세

용어 해설

GPT-2 Small WTE 32,070토큰을 t-SNE와 MST로 모바일에서 인터랙티브하게 탐색하는 시각화

TL;DR

섹션별 상세

용어 해설

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드