GPT-2 토큰 32,070개를 하이퍼볼릭 트리로 배치한 Poincaré 볼 인터랙티브

원문은 데모 링크와 탐색 예시들을 제공하여 기술적 호기심을 유발하는 형태로 게시되었다. 인터랙티브한 조작과 토큰 연결 예시들이 사용자 관찰을 촉발할 수 있도록 설계되어 있으며 클라이언트 사이드 실행이라는 점에서 접근 장벽을 낮추었다. 원문 자체에는 댓글 요약이나 다수의 커뮤니티 반응이 포함되어 있지 않아 정량적 반응 분포는 본문만으로는 확인할 수 없다.

Poincaré Ball

— 유클리드 공간 대신 음의 곡률을 가진 하이퍼볼릭 공간을 모델링하는 표현으로, 중심에서 멀어질수록 가용 공간이 지수적으로 증가하여 계층적·트리 구조를 자연스럽게 배치할 수 있다. 본 데모에서는 토큰 간 유사성을 계층적 관계로 배치하는 데 쓰인다.

Hyperbolic Geometry

— 음의 곡률을 갖는 기하학으로 직선 대신 지수적으로 팽창하는 기하적 공간 크기를 제공하여 트리나 계층 구조의 노드들을 충돌 없이 배치할 수 있다. 단어 임베딩의 계층적 유사성 시각화에 적합하다.

Token Embedding

— 언어 모델이 각 토큰을 고정 길이 실수 벡터로 표현한 것으로, 벡터 간 거리·유사도는 의미적 관계를 반영한다. 본 글은 GPT-2-small의 원시 토큰 임베딩을 입력으로 사용하여 공간 배치를 구성했다.

Möbius Translation

— 하이퍼볼릭 공간에서 한 점을 기준으로 공간 전체를 재배치하는 기하학적 이동 연산으로, 사용자가 특정 토큰을 중앙에 놓을 때 전체 배치를 일관성 있게 재정렬하는 데 사용된다. 인터랙티브 탐색의 핵심 동작이다.