MultiHashFormer: 해시 기반 생성형 언어모델

대형 언어모델은 어휘 크기에 비례해 embedding 매트릭스 파라미터가 선형으로 증가하여 어휘 확장과 다국어 대응에 제약이 발생한다. MultiHashFormer는 각 토큰을 다중 해시 ID 시그니처로 표현해 임베딩 파라미터를 고정한 채 어휘 충돌을 제거하고 생성형(autoregressive) 학습을 가능하게 했다. 이 구조는 100M·1B·3B 규모 실험에서 표준 Transformer 대비 전반적인 성능 향상과 희귀어 표현 개선을 보였다.

언어모델의 전통적 설계는 각 어휘에 고유한 dense 임베딩 벡터를 할당하는 embedding matrix를 사용하기 때문에 어휘 크기가 늘어나면 파라미터 수가 선형으로 증가한다. 이로 인해 어휘 확장이나 다국어 지원 시 모델 크기와 저장·전송 비용 측면에서 제약이 발생하며, many-to-one 해시 대체를 단순 적용하면 생성 단계에서 충돌로 인해 역변환이 불가능해진다. 따라서 생성형(autoregressive) LM에 적용할 수 있는 충돌 회피형 표현 방식이 필요하다. MultiHashFormer는 각 토큰을 H개의 독립 해시 함수로 매핑해 얻는 다중-ID 시그니처를 사용해 단일 함수 해시의 충돌 문제를 제거한다. 이 시그니처는 조합적으로 매우 큰 가상 어휘 공간을 제공하므로 실질 어휘는 그 부분집합으로 취급된다. 입력에서는 각 좌표의 임베딩을 컨텍스트에 따라 게이트로 가중합해 하나의 d차원 벡터로 압축하고 Transformer 디코더에 입력한다. 출력에서는 계단식 예측기로 좌표를 순차적으로 복원하며 각 단계의 soft 기대값을 다음 단계 상태로 전달해 미분 가능성을 유지한다. 이러한 구조는 학습 시 전체 좌표의 독립적 조건부 확률을 곱해 손실을 구하고, 추론 시에는 실제 어휘에 해당하는 시그니처들에 대해 확률을 재정규화해 유효한 토큰만 생성한다. 결과적으로 임베딩 파라미터를 크게 늘리지 않고도 표현력의 랭크 상한을 H×d 쪽으로 끌어올려 softmax 병목을 완화하고 희귀어 및 문맥 종속 예측 능력을 개선한다.

전체 아키텍처는 세 모듈로 구성된다: Hash Encoder, Transformer 기반 Sequence Processing Backbone, Hash Decoder이다. 입력 단계에서 각 토큰 w는 H개의 독립 해시 함수 Hi(w)을 통해 시그니처 [H1(w),…,HH(w)]로 변환된다. 각 해시 좌표 i에 대해 크기 B의 임베딩 행렬 E(i)에서 버킷 임베딩을 조회하고, 이들 임베딩에 대해 W1-W2 병목과 시그마 활성화로 스칼라 게이트 αi를 계산해 α 가중합을 만들고 마지막에 선형 어댑터 Ws로 투영하여 최종 임베딩 e를 얻는다. 이 임베딩 시퀀스는 Transformer 디코더 스택을 통해 컨텍스트화되어 각 시간 t에서 ht를 생성한다. Hash Decoder는 ht를 초기 상태로 사용해 H단계의 캐스케이드 예측을 수행한다. 각 단계 i에서 지역화된 가중치 행렬 W(i)o(=E(i)로 묶음)과 내적해 B차원 logits o(i)를 계산하고 softmax로 확률 p(i)를 얻는다. 중간 단계에서는 hard argmax 대신 p(i)로 기대값 e(i)=E(i)⊤ p(i)를 계산해 다음 상태 c(i+1)를 cascade mixer 식으로 갱신한다. 최종적으로 H좌표의 곱으로 구성된 가상 어휘 공간 Vvirt에서 학습을 진행하되 실제 어휘 Vactl은 이 부분집합이므로 추론 시에는 유효한 시그니처들만 남기고 확률을 재정규화한다. 학습 손실은 각 좌표의 독립적 조건부 확률들의 곱으로 처리되며, 구현 세부로는 MMH3(MurmurHash3)를 해시 함수로 사용하고 seed 재해싱으로 시그니처 충돌을 회피한다. 하이퍼파라미터 예시는 H4B16K 구성, dz=64 병목 차원, 입력 토크나이저는 Mistral BPE(32K)이며 모델별 학습 토큰 수는 100M→10B, 1B/3B→100B 토큰 기준이다.

주요 벤치마크에서 MULTIHASHFORMER는 100M, 1B, 3B 스케일에서 표준 Transformer와 비교해 전반적으로 우수한 성능을 보였다. 특히 LAMBADA에서 H4B16K는 1B 스케일에서 표준 대비 4.93%p, 3B 스케일에서 8.62%p의 개선을 기록했고 ReCoRD, HellaSwag 등 고엔트로피 추론 과제에서도 유의미한 상승을 보였다. ablation 관점에서 Single-ID 대비 Multi-ID 구성이 큰 성능 차이를 만들었고, 예컨대 H4B4K는 Single-ID H1B4K보다 LAMBADA에서 30.27% vs 4.29%로 큰 격차가 나타났다. 희귀어 평가(Card-660)에서는 MULTIHASHFORMER가 마지막 또는 두 번째 마지막 히든 상태 기반 유사도에서 표준 모델보다 높은 Pearson·Spearman 상관을 기록해 희귀 및 변형 형태의 단어들에 대한 표현력이 향상되었음을 확인했다. 어휘 확장 실험에서는 32K에서 48K로 확장하면서 MULTIHASHFORMER가 추가 파라미터 없이 다국어(MuBench) 과제들의 성능을 유지하거나 개선했고 표준 모델은 확장을 위해 약 31M 파라미터가 필요했다.

아키텍처는 입력의 Hash Encoder, Transformer 기반 Backbone, 출력의 Hash Decoder로 구성된 모듈식 인터페이스 구조이다. Hash Encoder는 H개의 임베딩 행렬 E(i)∈R^{B×d}를 갖고 각 토큰의 H개 좌표를 조회한 뒤 W1-W2 병목과 sigmoid→softmax 게이팅으로 좌표 기여도를 산정해 선형 어댑터 Ws로 d차원 임베딩으로 결합한다. Backbone은 표준 decoder-only Transformer 스택으로, 각 시간 t의 마지막 레이어 출력 ht를 Hash Decoder 초기 상태로 사용한다. Hash Decoder에서는 각 좌표 i에 대해 W(i)_o^⊤ c(i)로 B차원 logits o(i)를 계산하고 softmax로 p(i)를 얻는다. 비종단(head < H) 단계에서는 기대값 e(i)=E(i)⊤ p(i)를 계산해 cascade mixer에 투입한다. cascade mixer는 [c(i); e(i)]를 저차원으로 투영한 뒤 비선형 활성화를 거쳐 잔차 연결로 c(i+1)을 생성한다. 학습 시 확률 모델은 각 좌표의 조건부 확률들의 곱으로 토큰 확률을 근사하고, 추론 시에는 Vactl에 해당하는 시그니처들에 대해 곱 확률을 재정규화해 유효한 토큰만 생성한다. 수학적 분석에서는 MULTIHASHFORMER의 예측 행렬 랭크 상한이 min(B, H×d)로 표준 d보다 커지는 점을 근거로 softmax 표현력 개선이 고엔트로피 과제 향상으로 연결된다고 밝혔다. 구현상 MMH3를 해시 함수로 사용하고 seed 재해싱으로 충돌을 피하며 입력 토크나이저는 Mistral BPE(32K)를 기본으로 사용했다. 사전학습 데이터는 FineWeb-Edu 서브셋을 사용했고, 100M 모델은 10B 토큰, 1B·3B 모델은 100B 토큰으로 학습했다.

연구는 100M, 1B, 3B 규모 실험에 국한되어 있어 더 큰(예: 7B+) 모델에서의 동작과 확장성은 미확인 상태이다. 모든 대규모 모델 학습 결과는 단일 시드 기반으로 수집되어 초기화·학습 노이즈에 따른 변동성 검증은 이루어지지 않았다. 계산 자원 제약으로 일부 분석과 ablation이 축소되었으며 복수 반복 실험을 통한 견고성 확인은 후속 연구 과제로 남아 있다.