토큰 증류: 새로운 토큰을 위한 어텐션 인지 입력 임베딩 초기화 기법

• •기존 BPE 기반 토크나이저는 새로운 도메인에서 토큰 분절 효율이 급격히 저하됨
• •토큰 수 증가는 곧 연산 비용 증가와 컨텍스트 윈도우 낭비로 이어짐
• •새로운 토큰 추가 시 단순 랜덤 초기화는 모델 성능을 심각하게 저해함

• •임베딩 행렬에만 의존하는 방식은 모델의 실제 추론 로직을 반영하지 못함
• •서브토큰 결합 시 발생하는 복잡한 상호작용 정보가 초기화 단계에서 유실됨
• •초기화가 부실할 경우 성능 회복을 위해 방대한 양의 추가 학습 데이터가 필요함

• •Transformer 레이어를 고정한 채 새로운 토큰의 임베딩 벡터만 학습함
• •기존 서브토큰들의 상호작용 결과물인 Hidden State를 직접 모방함
• •어텐션 맵과 FFN의 지식을 임베딩 초기값에 직접 주입하는 효과를 냄

증류(Distillation)는 보통 모델 크기를 줄이는 데 쓰이지만, 여기서는 여러 토큰의 정보를 하나의 벡터로 압축하는 데 사용되었다.

• •단 25개의 샘플만으로도 2,500개의 토큰을 10분 내에 효과적으로 초기화 가능
• •Hyper-network 기반 방식보다 연산 효율성과 범용성 면에서 우위를 점함
• •토큰 수 감소를 통해 추론 속도 향상과 비용 절감을 동시에 달성함

• •Llama 3.2와 같은 타이드 임베딩 모델에서 발생할 수 있는 특이 케이스 식별
• •NTP 손실 함수가 임베딩 노름을 제어하는 정규화 역할을 수행함
• •Alpha-NTP를 통해 증류의 의미론적 이점과 NTP의 안정성을 결합함

• •입력과 출력 임베딩의 역할 차이를 인지한 차별화된 접근 필요
• •Sparse 파라미터 스케일링 기법과 토크나이저 전이의 결합 가능성 제시
• •누구나 쉽게 토크나이저를 변경할 수 있는 표준 레시피 제공 목표