SMILES 화학 문자열에서 BPE와 Unigram-LM의 토크나이저 차이: 165토큰 기저에서의 제어된 비교

왜 중요한가

SMILES 기반 화학 언어 모델은 토크나이저가 고정된 상태에서 학습되므로 토크나이저의 설계가 시퀀스 길이와 임베딩 학습 가능성에 직접적인 비용·성능 영향을 준다. 본 논문은 자연어에서 상용되는 BPE를 관성적으로 채택하는 관행을 깨고 동일 기저에서 BPE와 Unigram-LM이 근본적으로 다른 어휘와 분절 특성을 만들어낸다는 것을 계량적으로 보여준다. 이 결과는 토크나이저 알고리즘 선택이 downstream 모델의 입력 길이와 토큰 분포를 결정하므로 설계 시 명시적 판단이 필요함을 의미한다.

핵심 기여

고정 165토큰 화학 기저에서의 통제된 BPE 대 Unigram-LM 비교

세 가지 말뭉치 유형과 두 가지 전처리 경계 정책을 포함한 22개의 매칭 조건에서 두 알고리즘을 직접 비교했다. 모든 조건에서 학습된 서브워드의 자카드 겹침이 최대 0.161에 머물렀고 고빈도 조각에 가중할 경우 0.05를 넘지 않았다. 이 결과는 두 알고리즘이 동일 기저에서도 수렴하지 않음을 보여준다.

분절 세분성의 일관된 차이 규명

Unigram-LM이 보유한 어휘는 BPE보다 더 미세하게 분절하여 보류된 분자에서 평균적으로 29%에서 41% 더 많은 토큰을 생성했다. 이 분절 격차는 경계 정책과 말뭉치 유형 전반에 걸쳐 안정적으로 관측되었고 V=1024 기준에서 약 1.4–1.8 대 1.0의 글리프당 토큰 압축비로 수치화되었다. 분절 차이는 어휘 크기 비대칭의 영향이 아니라 보편적 알고리즘 속성으로 판별되었다.

구성 차이에 대한 구조적·메커니즘적 진단 제공

다섯 가지 진단 지표를 계산해 BPE가 더 높은 전체-프리토큰 흡수율과 제한된 scaffold 분획을 갖고 Unigram-LM은 높은 분절 엔트로피를 보유함을 확인했다. 두 알고리즘의 차이는 고빈도 핵심 조각에서 특히 뚜렷했으며 그 결과 BPE는 고리와 결합된 조각을 크게 병합하는 반면 Unigram-LM은 이들을 거의 원자 단위에 가깝게 유지했다. 연구 결과와 학습된 토크나이저들은 공개 저장소에 배포되었다.

학습 가능성 경계와 스케일링의 영향 규정

임베딩 학습 가능성 기준(F95%,100, c100≥0.95)을 적용해 V 값에서의 'learnable' 영역을 인증했고 그 범위를 벗어나면 희귀 토큰 꼬리가 문제를 일으킴을 보였다. V=8192 앵커 실험에서도 핵심 격차는 사라지지 않았으나 해당 지점은 이미 임베딩 학습 가능성 한계를 넘어서는 영역이었다. 이로써 대규모 V에서의 수렴 주장은 학습 가능성 제한과 혼동될 수 있음을 지적했다.

핵심 아이디어 이해하기

문제의 출발점은 SMILES를 입력으로 사용하는 화학 언어 모델에서 토크나이저가 시퀀스 길이와 임베딩 대상 어휘를 결정하는 핵심 설계 요소라는 점이다. 동일한 165토큰 기저를 고정했을 때 각 알고리즘은 어떤 글리프 조합을 '하나의 토큰'으로 흡수할지 결정해야 하며, 어휘 슬롯이 제한된 소형 어휘 영역에서는 이 선택이 모델 입력 길이와 토큰 빈도 분포에 결정적 영향을 미친다. 자연어와 달리 SMILES는 알파벳이 작고 발렌스 제약으로 가능한 글리프 연속이 집중되므로 알고리즘 간 수렴 가능성이 존재했지만 실제로는 그렇지 않았다.

방법론

연구는 알고리즘, 말뭉치, 목표 어휘 크기 V, 전처리 경계 정책의 4차원 격자(grid)를 구성하여 통제된 비교를 수행했다. 두 알고리즘은 동일한 Smirk 165토큰 기저 위에서 각각 Smirk-GPE(BPE 구현)와 HuggingFace의 UnigramTrainer로 훈련되었으며 V 값은 256, 512, 1024를 주축으로 민감도 블록과 V=8192 앵커를 포함했다. 측정 지표로는 학습된 다중 글리프 조각의 자카드 겹침, 보류 분자에 대한 평균 토큰 수(생식성/비율 격차), 토큰 빈도 불균형 지수, 그리고 학습 가능성 바(F95%,100)를 통한 희귀 토큰 감사 등 일곱 가지 구조적·메커니즘적 측정을 채택했다.

주요 결과

두 알고리즘은 동일한 기저와 조건에서도 근본적으로 다른 어휘를 생성했다. 22개의 매칭 조건에서 다중 글리프 조각의 자카드 겹침 J는 최대 0.161에 그쳤고 빈도로 가중한 경우 Jw는 0.05를 넘지 않았으며 일부 조건에서는 0.002까지 떨어졌다. Unigram-LM은 모든 조건에서 BPE보다 더 미세한 분절을 생성해 보류 분자당 평균 토큰 수가 29%에서 41% 더 많았고 이 차이는 경계 정책과 말뭉치 유형 전반에 걸쳐 안정적으로 관찰되었다.

기술 상세

토크나이저 학습은 동일한 전처리 파이프라인(RDKit 이성질체 정규화, 중복 제거, Smirk 기저 적합성 검사) 위에서 수행되어 커버리지의 차이가 측정에 개입하지 않도록 했다. BPE는 GpeTrainer로 시작부터 병합을 축적해 목표 V를 채우는 방식으로 동작했고 Unigram-LM은 대규모 시드 풀에 대해 EM을 수행한 뒤 중요도가 낮은 토큰을 가지치기해 목표치로 축소하는 방식으로 동작했다. 학습 가능성 검증은 각 학습 어휘 조각이 학습 말뭉치에서 최소 n번 이상 등장하는 비율 c_n을 계산하고 c_100≥0.95 조건을 F95%,100으로 적용해 희귀 토큰 꼬리가 임베딩 학습을 방해하지 않는지를 판정했다.

한계점

이 연구는 토크나이저 수준의 구조적·통계적 비교에 집중했으며 실제 언어 모델 성능과의 인과 관계는 측정 범위 밖에 있다. 고정된 165토큰 Smirk 기저와 RDKit 비-케큘르 표기 선택은 결과 해석의 전제 조건으로서 다른 기저나 표기법에서는 결과가 달라질 수 있다. 또한 F95%,100 학습 가능성 바는 NMT 유래의 기준을 차용했으므로 화학 특유의 희귀성 분포를 완전히 포착하지 못할 가능성이 있으며 V가 매우 클 경우 희귀 토큰 꼬리로 인한 임베딩 불안정성이 새롭게 작동할 수 있다.

실무 활용

실무적으로 연구에서 학습된 토크나이저들은 공개되어 어느 도메인에 재사용 가능한지를 즉시 평가할 수 있다. 연구 결과는 토크나이저 알고리즘 선택이 모델 입력 길이와 토큰 분포에 직결되므로 downstream 설계 목표에 맞춰 알고리즘을 선택해야 함을 시사한다. 공개된 토크나이저를 이용하면 BPE 기반의 더 짧은 시퀀스가 필요한 시스템과 Unigram-LM 기반의 더 세밀한 정규화가 필요한 학습 전략을 빠르게 비교할 수 있다.

화학 생성 모델에서 긴 컨텍스트를 확보하려는 경우 BPE 기반 토크나이저를 채택해 입력 시퀀스를 압축할 수 있다.
데이터 증강이나 서브워드 정규화를 활용하려는 학습 파이프라인에서는 Unigram-LM의 확률적 세분성 특성을 활용할 수 있다.
도메인 간 토크나이저 재사용성 평가에서 165토큰 기저가 있으면 원자 수준 OOV가 거의 없어 토크나이저 교체 비용을 정확히 측정할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

byte-pair encoding(BPE)Unigram-LM(Unigram-Language-Model)SMILES(화학 분자 표기 문자열)tokenizer(토크나이저)subword vocabulary(서브워드 어휘)jaccard overlap(자카드 겹침)

용어 해설

SMILES 표기법(SMILES): — 화학 구조를 문자열로 표기하는 표준 형식으로 원자와 결합을 영문 및 기호로 나열하여 분자를 서술한다. SMILES는 분자 그래프를 직렬화하여 모델이 문자열로 학습하도록 하며 토크나이저의 기저 알파벳을 구성한다. 본 논문에서는 SMILES의 165토큰 Smirk 기반을 고정 기저로 삼아 서브워드 알고리즘을 비교한다.
바이트 페어 인코딩(BPE)(Byte-Pair Encoding): — 빈도가 높은 이웃 기호 쌍을 반복적으로 병합하여 어휘를 구성하는 하향식 알고리즘과 반대되는 상향식 방법으로 동작한다. 병합을 통해 큰 조각을 생성하므로 같은 문자열을 더 적은 토큰으로 압축하는 경향이 있다. 논문에서는 Smirk-GPE로 불리는 BPE 변형을 고정 기저 위에서 훈련해 Unigram-LM과 비교한다.
Unigram-LM: — 초기 대규모 시드 어휘에 대해 각 토큰의 단항 확률을 EM으로 적합한 뒤 중요도가 낮은 토큰을 가지치기하여 목표 어휘 크기로 줄이는 확률 기반 상향식 알고리즘이다. 분절 확률을 제공하므로 서브워드 정규화(subword regularization) 같은 확률적 처리를 지원한다. 본 연구에서 같은 165토큰 기저 위에 Unigram-LM을 적용해 BPE와 구조적 차이를 측정했다.