터키어 형태소 중심의 신경 토큰화 및 단어 임베딩 Morpheus

Turkish는 agglutinative 언어로, 의미는 형태소 단위에 담겨 있으며, 기존의 subword 토크나이저는 형태소 정보를 보존하지 못하고 역추적 손실이 발생한다. Morpheus는 morphology-aware 토크나이저와 임베더를 하나의 모델로 결합해, training과 inference에서 동일한 형태소 분할을 학습하고, decode(encode(w))=w를 보장한다. 이로써 어휘 수준의 검색/매칭과 토큰-기반 생성을 모두 효과적으로 지원하는 단일 파이프라인을 제시한다.

단계 1: Turkish는 의미를 형성하는 주된 신호가 morpheme 경계이다. 기존 토크나이저는 세부 형태소를 무시하거나 역추적이 불가능한 경우가 많아, 생성 모델에서 원문 문자열의 faithful한 재생성을 저해한다. 단계 2: Morpheus는 boundary detector를 RoPE-에 기반한 self-attention으로 구성하고, 각 inter-character 위치의 경계 확률 pi를 pi = sigmoid(score(hi, hi+1))로 계산한다. 단계 3: 이 확률들을 이용해 differentiable Poisson–binomial DP를 수행하고, 각 문자 j가 어느 morpheme에 속하는지의 소프트 분포를 M[j,k]로 얻는다. 이 분포를 바탕으로 segment를 pooling해 각 morpheme의 벡터 sk를 만들고, 모든 segement 벡터의 평균으로 ew를 얻는다. ew는 2-layer FFN + Residual LayerNorm으로 정규화된다. 단계 4: 학습은 L = wauxLaux + wsgnsLsgns + wctrLctr + wmlm의 가중합 손실로 최적화되며, boundary 예측은 Gradients가 직접 목적 함수로 전달되도록 설계됐다. 이 구조 덕에 Morpheus는 토크나이저와 임베더를 하나의 forward pass에서 함께 최적화하고, decode(encode(w))의 보장을 유지한다.

데이터 및 전처리: Morpheus는 약 10GB의 단일 Turkish 코퍼스를 사용하고, 95/5로 train/test를 분할한다. Morfessor(교육자)로 경계를 얻고, 루트 어휘의 정합에 따라 내부 경계 중 루트-일치가 있을 경우 경계 중복을 제거한다. 입력 단어는 길이 32로 패딩되어 저장되며, 내부_boundary 라벨과 함께 per-word 토큰과 root id를 포함한다. 모델의 차원은 d=320이며, RoPE를 적용한 4층 self-attention으로 문자 표현을 얻는다. 경계 판별기는 인접 페어를 평가하여 각 i에서의 경계 확률 pi를 예측한다. 수식적 핵심은 다음과 같다: 입력 hi, hi+1에 대해 pi = sigmoid(score(hi, hi+1))이며, 이 pi로부터 독립적 이항 경계 비트를 bi를 sampling하고(Pr[bi=1]=pi), fj[k] 재귀로 Pi<j bi=k의 확률을 계산해 M[j,k]를 구성한다. 이 soft 분류는 학습 시에 미세하게 gradients를 전달하고, 추론 시에는 hard 분할로 전환된다. 분절된 각 k에 대해 sk를 αjk = M[j,k] exp(a(hj))으로 가중치를 두고, sk = sum_j αjk hj로 구한다. 단어 벡엔드 임베딩 ew는 S′개의 유효 segment의 벡터의 평균을 두-layer FFN과 LayerNorm으로 변환하여 얻어진다. 학습은 AdamW, cosine schedule, gradient clipping으로 10에폭 수행되며, 배치 512로 구성한다. 손실 구성요소는 Laux(경계 BCE + root-corrected Morfessor 라벨 카운트 규제), Lsgns(skip-gram negative sampling: 16 negatives, window=±6, context vocab 120K), Lctr(InForNoCe root identity contrastive), Lmlm(문장 내 20% 마스킹된 문자 재구성)로 구성된다.

주요 결과는 다음과 같다. 재생성 여부: Morpheus는 30,204 inflected words에 대해 decode(encode(w))=w를 100% 달성하고, TurkishTokenizer는 95.4%로 비재생성적이며 WordPiece는 58.2%로 가장 낮다. BPC는 Morpheus가 1.425로 최저이며, BPE(1.436), Unigram(1.437), Morfessor(1.446)보다 작다. MorphScore macro-F1은 Morpheus가 0.61로 서브워드군의 ∼0.32보다 높고 TurkishTokenizer의 0.65에 근접하나 재생성 보장 측면에서 불리하다. SIGMORPHON 인플렉션에서 Morpheus는 lemma-prefix 0.76으로 Morfessor 이후 2위이며, Kalbur 루트-정정으로 루트-구간이 0.48로 향상된다. 언어 모델링 벤치마크에서는 동일 compute 대비 Morpheus의 BPC가 가장 낮고, TR-MMLU에서 Morpheus의 %Pure는 83.5%, %TR은 91.8%로 모든 토크나이저 중 최고이다. 임베딩은 BGE-M3(BERTurk 등) 대비 루트-가족 검색(AP MAP 0.85 vs 0.80/0.49)과 같은-루트 검증 ROC-AUC(1.00 vs 0.70/0.989)에서 우수하지만, NER이나 숫자/격변(probing) 같은 맥락 의존 태스크에서는 BERTurk/BGE-M3가 더 우수하다. 파라미터 수가 더 작고 static한 320-dim 임베딩을 사용하므로, 문맥 의존 태스크에는 제한적이다. 효율성 측면으로는 64K 서브워드 기반 토크나이저 대비 약 19%의 메모리 절감과 함께 토크나이저의 길이 증가로 인해 fertilities가 1.73 tokens/word로 증가한다. 토큰화 속도는 Morpheus의 encoder가 4.0M chars/s, decoder가 0.69M words/s로 측정되며, TurkishTokenizer가 가장 빠르나 Rust 백엔드의 차이로 해석된다. 종합적으로 Morpheus는 토큰화와 임베딩을 하나의 모델에서 제공하는 유일한 선택지가 될 수 있으며, 루트 중심의 어휘 인덱싱과 경량 컨텍스추얼 인코더를 결합하는 다중 벡터 RAG 시스템에 적합하다.

아키텍처 개요: 문자 인코더는 문자 임베딩에 대하여 로테리 포지션 인코딩 RoPE를 적용한 4층.self-attention으로 context-aware 문자 벡터 H=(h1,...,hL)을 얻는다. 경계 탐지기는 inter-character 위치 i에서 pi = sigmoid(score(hi, hi+1))를 출력하는 4층 RoPE 기반 셀프 어텐션을 거친 뒤 인접 페어 스코어링 헤드를 통해 얻는다. Differentiable Poisson–binomial segmentation: 이항 경계 벡터 bi ~ Bernoulli(pi)로 간주하고, Pi<j bi = k의 확률을 fj[k] 재귀로 계산하여 소프트 분포 M[j,k]를 얻는다. M은 각 문자 j가 어느 morpheme k에 속하는지에 대한 soft segment membership이다. 수식은 fj[k] = fj-1k + fj-1[k-1] p_{j-1} 이고, base는 f1[0] = 1이다. 분절 모듈은 soft-분류를 통해 gradient를 역전파하고, pi가 0 또는 1에 수렴할 때 M은 한 번의 hard 분절로 바뀐다. Segment pooling은 sk = sum_j α_jk h_j로 정의되며 α_jk ∝ M[j,k] exp(a(h_j))로 구성된다. 이때 a(·)는 학습 가능한 점수 함수이며, ew = LayerNorm(FFN( (1/S′) sum_k s_k ))로 정의되는 320-dim 임베딩으로 생성된다. 학습 손실은 L = waux Laux + wsgns Lsgns + wctr Lctr + wmlm Lmlm로 구성되며, Laux은 Morfessor 라벨에 대한 BCE 및 카운트 규제를 포함한다. Lsgns은 16 negatives, window=±6, context vocab=120K의 skip-gram 음수 샘플링이다. Lctr은 root identity에 대한 InfoNCE 대조 손실, Lmlm은 20% 단어를 마스킹하고 작은 인코더-디코더로 문자 단위 재구성이다. 학습은 AdamW, 코사인 학습률 스케줄, gradient clipping으로 수행되며, 배치 512, 10 에폭으로 훈련한다. 코어 매개변수는 d=320, max word length=32, 50K 하드 분절 어휘를 사용한다. Morpheus는 역방향성(encoder-Decoder)과 분절 구조를 통해 decode(encode(w)) = w를 보장하며, 320-dim 임베딩이 토크나이저의 동시에 산출된다.

고려된 한계로는 fertilty 증가로 인한 시퀀스 길이 증가와 엔진의 엔드-투-엔드 생성 지연이 있다. 또한 루트-중심 임베딩은 컨텍스트 의존 태스크(NER, 숫자/격변 분석)에서 정밀도가 떨어질 수 있으며, Turkish-specific 설계이므로 다른 언어에 일반화하기 어렵다. derivational morphology의 긴 형태소 체인에서 경계가 잘 구분되지 않는 경우도 있다.