분자 특성 예측을 위한 BERT학(BERTology): 화학 언어 모델의 성능 요인 분석

화학 언어 모델(CLM)이 분자 특성 예측에서 일관되지 않은 성능을 보이는 이유를 수백 번의 통제된 실험으로 규명했다. 특히 데이터 표준화 방식의 차이가 모델 성능을 심각하게 저하시킬 수 있음을 입증하여, 향후 신약 개발 AI 연구의 신뢰성을 높이는 데이터 전처리 가이드라인을 제시한다.

분자를 텍스트 형태인 SMILES로 표현하여 언어 모델로 학습시키는 방식은 기존의 수동 특징 추출(Feature Engineering) 한계를 극복하려 한다. 하지만 동일한 분자라도 데이터베이스마다 표기법(표준화)이 달라, 모델 입장에서는 같은 단어가 문맥 없이 다르게 쓰이는 혼란을 겪게 된다. 이 논문은 이러한 '표준화 노이즈'가 모델의 문법 학습을 방해하는 핵심 요인임을 밝혀냈다.

실험 결과, 모델의 파라미터 수를 늘리고 학습 데이터를 확장하면 이러한 노이즈를 스스로 극복하는 능력이 생기며, 특정 임계점(약 1,200만 개 샘플)을 넘어서면 성능 향상이 가속화된다는 점을 발견했다. 이는 마치 서로 다른 사투리가 섞인 텍스트로 언어를 배울 때 학습 효율이 떨어지지만, 충분히 많은 데이터를 접하면 공통된 언어 구조를 파악하게 되는 것과 유사한 원리다.

결과적으로 화학 언어 모델의 성능은 단순히 데이터의 양뿐만 아니라, 데이터 전처리의 일관성과 모델의 규모가 상호작용하여 결정된다는 점을 딥러닝의 기초적인 학습 원리와 연결하여 입증했다.

PubChem 데이터셋의 1.19억 개 SMILES 데이터를 활용하여 Tiny(4.4M), Small(28.5M), Base(108M) 세 가지 크기의 BERT 모델을 사전 학습했다. Masked Language Modeling(MLM) 목적 함수를 사용하여 입력 시퀀스의 15%를 무작위로 마스킹하고 이를 복원하도록 학습시켰다. 마스킹된 토큰의 실제 값과 모델이 예측한 확률 분포 사이의 Cross-Entropy를 계산하여 손실값을 도출하고, 이를 줄이는 방향으로 가중치를 업데이트했다.

표준화 노이즈의 영향을 측정하기 위해 PubChem 표준화 데이터를 점진적으로 ChEMBL 표준화 데이터로 교체하는 실험 설계를 도입했다. 데이터셋 크기를 N = a * 2^k + b 수식에 따라 지수적으로 증가시켜 학습을 진행했다. k값이 0에서 5로 증가함에 따라 데이터 양이 기하급수적으로 늘어나며, 이에 따른 성능 지표의 변화율을 측정하여 모델 크기와 데이터 규모 사이의 최적 균형점을 도출했다.

사전 학습된 모델을 Biogen ADME 데이터셋의 6가지 회귀 작업(HLM, RLM, hPPB 등)에 파인튜닝했다. Bayesian 하이퍼파라미터 탐색과 3-fold 교차 검증을 통해 최적의 성능을 도출하고 기존 머신러닝 모델들과 비교 분석했다. Pseudo-Perplexity(PPPL) 계산 시 마스킹된 토큰 위치의 로그 확률 합의 음수 값을 지수 함수(exp)에 입력하여 모델이 화학 언어의 문법을 얼마나 잘 이해하고 있는지를 수치화했다.

모델 크기가 Tiny에서 Base로 커짐에 따라 Pseudo-Perplexity(V-PPPL)가 28% 이상 개선되었으며, 데이터셋 크기가 10%(약 1,200만 개)를 넘어서는 시점에서 성능 향상 폭이 완만해지는 임계 현상을 발견했다. 이는 특정 규모 이상의 데이터가 확보되어야 모델이 화학적 구조를 효과적으로 학습하기 시작함을 의미한다.

표준화 노이즈가 섞일 경우 모든 모델의 성능이 저하되었으나, Base 모델은 Tiny 모델에 비해 노이즈 환경에서도 훨씬 안정적인 F1 스코어와 정확도를 유지하며 높은 복원력을 보였다. 특히 학습 데이터 전체를 다른 표준화 방식으로 교체했을 때 소형 모델은 학습이 발산하는 경향을 보였으나 대형 모델은 이를 수용했다.

파인튜닝 결과, Base-BERT 모델은 LASSO, Random Forest, XGBoost 등 전통적인 머신러닝 모델과 대등하거나 더 우수한 성능을 기록했다. 특히 데이터가 적은 환경에서도 사전 학습된 지식을 바탕으로 효과적인 예측이 가능함을 입증했으며, 이는 대규모 사전 학습이 도메인 특화 작업에서 강력한 전이 학습 효과를 제공함을 확인시켜 주었다.

아키텍처는 표준 BERT 구조를 따르며, Tiny(4.4M), Small(28.5M), Base(108M) 파라미터 규모로 구성되었다. 활성화 함수로는 GELU를 사용하고, 최대 시퀀스 길이는 512 토큰으로 설정했다. 레이어 수는 Tiny 2개에서 Base 12개까지 확장하여 깊이에 따른 학습 능력을 평가했다.

토큰화 알고리즘으로 WordPiece와 BPE를 비교 분석했으며, 두 방식 모두 모델 크기 증가에 따른 성능 향상 경향은 동일했으나 BERT의 원래 설계와 일치하는 WordPiece를 최종 선택했다. 어휘 사전(Vocabulary) 크기는 30,522개로 고정하여 모델 간 비교의 공정성을 확보했다.

학습에는 AdamW 옵티마이저를 사용했으며, 학습률 1e-4, 가중치 감쇠 0.01, 배치 크기 1024의 설정을 적용했다. RoBERTa의 동적 마스킹(Dynamic Masking) 기법을 도입하여 에포크마다 마스킹 패턴을 변경함으로써 모델이 특정 패턴에 고착되지 않고 전체 데이터 구조를 학습하도록 유도했다.

데이터 전처리 과정에서 RDKit의 분자 정화(Sanitization) 기능을 활용하여 유효하지 않은 SMILES를 필터링했다. PubChem과 ChEMBL의 표준화 파이프라인 차이를 분석하여, 전하 상태 처리나 호변 이성질체(Tautomer) 표현 방식의 차이가 토큰 빈도 분포에 미치는 영향을 기술적으로 상세히 다루었다.

연구진은 소규모 통계 샘플을 기반으로 한 질적 트렌드 분석임을 명시했으며, 정확한 정량적 관계(Scaling Law의 수식화)를 도출하기 위해서는 더 광범위한 실험 세트가 필요하다고 언급했다.