기하학적 정렬 세금: 과학 기초 모델에서의 토큰화 대 연속 기하학

생물학이나 물리학용 AI 모델이 예측 정확도는 높지만 시스템의 연속적인 물리적 특성을 보존하지 못하는 근본 원인을 규명했습니다. 이 논문은 연속적인 데이터를 이산적인 토큰으로 변환하는 과정에서 발생하는 '기하학적 정렬 세금'이 모델의 신뢰성을 떨어뜨린다는 점을 입증하여 과학용 AI 설계의 새로운 방향을 제시합니다.

딥러닝 모델은 일반적으로 텍스트와 같은 이산적인 데이터를 처리하기 위해 입력값을 토큰화하고 임베딩 공간으로 투사한다. 하지만 물리 법칙이나 생물학적 구조는 연속적인 기하학적 성질을 가지는데, 이를 이산적인 토큰 뭉치로 나누는 과정에서 마치 부드러운 경사면을 직사각형 블록으로 쌓아 올릴 때 발생하는 미세한 층계 현상과 같은 왜곡이 발생한다. 이것이 바로 '기하학적 정렬 세금'이다.

기존의 Transformer 기반 모델들은 Cross-Entropy 손실 함수를 사용하여 다음 토큰을 분류하도록 학습된다. 이 과정에서 모델의 내부 표현(embedding)은 부드러운 다양체를 형성하기보다 각 토큰 범주를 날카롭게 구분하는 경계면을 형성하게 된다. 결과적으로 입력 데이터에 미세한 변화(perturbation)가 생겼을 때, 임베딩 공간에서의 위치가 부드럽게 이동하지 않고 경계를 넘나들며 불연속적으로 튀는 현상이 발생한다.

연구팀은 이러한 현상이 Attention이나 Recurrence 같은 아키텍처의 문제가 아니라, 연속적인 세상을 이산적인 조각으로 나누어 처리하려는 시도 자체에서 비롯됨을 밝혀냈다. 모델의 규모를 키우면 겉보기에는 정밀도가 높아지는 것처럼 보이지만, 실제 기하학적 구조는 더욱 파편화되어 물리적 대칭성이나 연속성을 보존하기가 기하급수적으로 어려워진다.

실험을 위해 SmallBERT(Transformer), SmallMamba(SSM), SmallStripedHyena(Hybrid) 세 가지 아키텍처를 동일한 조건에서 학습시켰다. 데이터셋으로는 파형(WAVEFORM), 조화 진동자(OSCILLATOR), 로렌츠 어트랙터(LORENZ) 등 물리적 기하학이 명확한 합성 동적 시스템을 사용했다. 모든 모델은 256개의 빈(bin)으로 균등 이산화된 입력을 받으며, Causal Language Modeling(CLM) 방식으로 학습되었다.

기하학적 안정성을 평가하기 위해 Shesha 라이브러리를 활용한 표준화된 하네스를 구축했다. 깨끗한 시퀀스와 섭동(noise)이 가해진 시퀀스를 각각 임베딩한 후, 코사인 거리를 기반으로 표현 불일치 행렬(Representational Dissimilarity Matrices, RDMs)을 계산한다. [입력 시퀀스 → 모델 임베딩 추출 → RDM 계산 → Spearman 상관계수 산출] 과정을 통해 입력의 미세한 변화가 임베딩 공간의 기하학적 관계를 얼마나 보존하는지 수치화했다.

정보 이론적 분석을 위해 MINE(Mutual Information Neural Estimation)을 도입했다. [모델 임베딩 X_hat과 실제 물리적 특징 X 입력 → 3층 MLP 신경망 통과 → Donsker-Varadhan 하한값 계산 → 상호 정보량(MI) 추정] 과정을 거쳐 모델이 담고 있는 실질적인 생물학적/물리적 정보량을 측정했다. 이를 통해 기하학적 왜곡과 정보 보존 사이의 트레이드오프를 정량화했다.

연속적인 MSE 헤드를 사용했을 때, SmallStripedHyena 모델은 이산 토큰화 대비 기하학적 왜곡이 최대 8.5배 감소했다. 반면 이산 토큰화 환경에서는 아키텍처 간의 기하학적 안정성 차이가 최대 3,000배까지 벌어졌다. 이는 아키텍처 자체보다 출력 목표(objective)의 이산성이 기하학적 파괴의 더 큰 원인임을 시사한다.

ESM-2 단백질 모델 시리즈(8M~15B) 분석 결과, 모델 파라미터가 커질수록 기하학적 안정성이 단조적으로 감소하는 '진행성 세금' 현상이 관찰되었다. 15B 모델에서 나타난 겉보기 안정성 회복은 실제 기하학적 개선이 아니라 다양체 전체가 표류(drift)하는 'Untethered Gel' 현상임이 Procrustes 분석을 통해 밝혀졌다.

Evo 2 모델의 경우, 실제 DNA 데이터에서 보여준 역상보(reverse-complement) 강건성이 생물학적 이해가 아닌 단순한 k-mer 히스토그램 매칭의 결과임을 Texture Hypothesis Test로 입증했다. 염기서열의 위치 정보를 파괴하고 빈도만 유지한 셔플링 데이터에서도 동일한 수준의 강건성이 나타났으며, 이는 모델이 전역적인 기하학적 구조를 통합하지 못하고 있음을 의미한다.

논문은 Shannon의 Rate-Distortion 이론을 빌려 이산적 병목 현상을 공식화했다. 소스 다양체의 고유 차원을 d_M이라 할 때, 재구성 왜곡 D는 K^(-2/d_M)에 비례하여 감소하지만, 섭동에 대한 기하학적 왜곡 D_proc은 1/log K에 비례하여 매우 느리게 감소한다. 이는 코드북 크기를 늘리는 것만으로는 연속적인 헤드의 성능에 도달하는 것이 실질적으로 불가능함을 수학적으로 보여준다.

식별된 세 가지 실패 모드는 다음과 같다. (1) Local-Global Decoupling: 국소적 통계는 잘 포착하지만 전역적 일관성을 상실함 (Evo 2, 대형 ESM-2). (2) Representational Compression: 정보량은 극대화하지만 임베딩 공간이 심하게 뒤틀림 (OpenFold). (3) Geometric Vacuity: 임베딩이 매끄러워 보이지만 실제로는 아무런 유의미한 정보를 담고 있지 않음 (ProtMamba).

사후적인 대칭성 규제(RCCR 등)의 한계도 지적했다. 특정 대칭성(예: 역상보성)을 강제로 맞추기 위해 정규화 항을 추가하면, 해당 지표는 개선될지 몰라도 전체적인 기하학적 구조는 더욱 파괴되는 Pareto frontier 관계가 확인되었다. 이는 아키텍처 수준에서 연속적인 기하학적 사전 지식(prior)을 통합하는 것이 필수적임을 시사한다.

본 연구의 결과는 물리적/생물학적 대칭성이 명확한 'AI for Science' 영역에 국한되며, 수학적 불변량이 부족한 자연어 처리 분야로 일반화하기에는 주의가 필요하다. 또한 15B 파라미터 및 1M 컨텍스트 길이를 넘어서는 초거대 규모에서 발생할 수 있는 창발적 완화 가능성을 완전히 배제할 수는 없다.