토큰화가 다국어 LLM의 꿈을 가로막는 이유

섹션별 상세

토큰화는 텍스트를 모델이 이해할 수 있는 숫자 단위로 나누는 과정이지만, 부적절한 절단면은 모델의 성능을 저하시키는 근본 원인이 된다. 의미 단위인 형태소를 무시하고 임의로 토큰을 나눌 경우, 모델은 상위 레이어에서 이를 다시 조립하는 데 과도한 연산 자원을 소모하게 된다.

저자원 언어는 높은 증식률(Fertility)이라는 '세금'을 지불하고 있으며, 이는 동일한 정보량에 대해 더 많은 토큰을 사용하게 만들어 컨텍스트 윈도우를 낭비시킨다. 이 과정에서 모델의 추론 능력 중 상당 부분이 언어 구조 복구에 할당되어 실질적인 지능 지수가 낮아지는 결과가 초래된다.

이산적 토큰화 방식은 오타나 대소문자 변화와 같은 미세한 입력 변동에 매우 취약하며, 이는 특히 학습 데이터가 부족한 언어에서 치명적이다. 'tell me'와 'tell mé'가 완전히 다른 토큰 시퀀스로 인식됨에 따라, 모델은 유사한 의미를 가진 변이형들 사이의 관계를 학습하지 못하고 성능이 급격히 떨어진다.

python

variants = [ "tell me", "Tell me", "tell  me", "tllm e", "tellme", "teell me", "tell m\u00e9" ]
base_ids = set(tok.encode(variants[0]))
for v in variants:
    ids = set(tok.encode(v))
    jaccard = len(base_ids & ids) / len(base_ids | ids)
    print(f"{v!r:20} Jaccard: {jaccard:.2f} {tok.tokenize(v)}")

입력 텍스트의 미세한 변화가 토큰화 결과와 자카드 유사도에 미치는 영향을 측정하는 코드임

하나의 토큰이 여러 언어와 맥락에서 공유될 때 발생하는 다의성(Polysemanticity) 문제는 임베딩 공간의 혼란을 야기한다. 서로 다른 형태론적 맥락에서 오는 그래디언트 업데이트가 충돌하면서 토큰 임베딩이 깨끗하게 수렴하지 못하고, 이는 모델 내부의 추론 효율성을 저해하는 요소가 된다.

토큰화 없는 아키텍처나 텍스트를 연속적인 신호로 처리하는 방식이 다국어 모델의 한계를 극복할 대안으로 주목받고 있다. DeepSeek의 OCR 성공 사례처럼 텍스트를 이미지나 바이트 단위로 직접 처리함으로써 토큰화로 인한 정보 손실과 구조적 장벽을 제거할 수 있다는 가능성이 확인되었다.

용어 해설

증식률(Fertility): — 단어 하나가 평균적으로 몇 개의 토큰으로 쪼개지는지를 나타내는 지표다. 이 수치가 높을수록 모델이 처리해야 할 시퀀스 길이가 길어져 연산 비용이 증가하고 문맥 파악 능력이 저하된다.
형태론(Morphology): — 단어의 내부 구조와 형성 규칙을 연구하는 언어학 분야다. 토큰화가 형태소 경계를 무시하면 모델은 단어의 문법적 기능을 파악하기 위해 더 많은 내부 파라미터를 소모하게 된다.
다의성(Polysemanticity): — 하나의 뉴런이나 토큰 임베딩이 여러 개의 서로 다른 의미 특징을 동시에 표현하는 현상이다. 토큰화가 부적절하면 하나의 토큰에 너무 많은 언어적 맥락이 섞여 모델의 추론 정확도가 떨어진다.

기술

BPE
ByT5
DeepSeek-V3
Gemma
MorphBPE

활용 사례

저자원 언어 모델 최적화
다국어 챗봇 성능 개선
오타 및 변이형 대응 강화

언급된 리소스

튜토리얼Andrej Karpathy's introduction to tokenization

논문MorphBPE

논문Tokenization Falling Short (EMNLP 2024)

섹션별 상세

python

variants = [ "tell me", "Tell me", "tell  me", "tllm e", "tellme", "teell me", "tell m\u00e9" ]
base_ids = set(tok.encode(variants[0]))
for v in variants:
    ids = set(tok.encode(v))
    jaccard = len(base_ids & ids) / len(base_ids | ids)
    print(f"{v!r:20} Jaccard: {jaccard:.2f} {tok.tokenize(v)}")

입력 텍스트의 미세한 변화가 토큰화 결과와 자카드 유사도에 미치는 영향을 측정하는 코드임

용어 해설

증식률(Fertility): — 단어 하나가 평균적으로 몇 개의 토큰으로 쪼개지는지를 나타내는 지표다. 이 수치가 높을수록 모델이 처리해야 할 시퀀스 길이가 길어져 연산 비용이 증가하고 문맥 파악 능력이 저하된다.
형태론(Morphology): — 단어의 내부 구조와 형성 규칙을 연구하는 언어학 분야다. 토큰화가 형태소 경계를 무시하면 모델은 단어의 문법적 기능을 파악하기 위해 더 많은 내부 파라미터를 소모하게 된다.
다의성(Polysemanticity): — 하나의 뉴런이나 토큰 임베딩이 여러 개의 서로 다른 의미 특징을 동시에 표현하는 현상이다. 토큰화가 부적절하면 하나의 토큰에 너무 많은 언어적 맥락이 섞여 모델의 추론 정확도가 떨어진다.