SmolLM2 135M 모델로 증명한 새로운 AI 아키텍처: BPE와 RLHF를 대체하는 물리적 제약 이론

실용적 조언

저사양 하드웨어에서 LLM을 구동해야 할 경우, BPE 대신 결정론적 해싱 기법 적용을 고려할 것
보안이 중요한 환경에서는 RLHF에 의존하기보다 KV 캐시 수준의 제약 주입 방식이 더 효과적일 수 있음

섹션별 상세

기존의 BPE 토큰화 방식을 결정론적인 기하학적 해싱(Geometric Hashing)으로 대체했다. 이 방식은 어휘 사전(Vocabulary Table) 없이 작동하며, 아나그램 사이에서만 토큰 충돌이 발생하도록 설계되어 의미적 모호성을 제거한다. 이를 통해 모델이 토큰 재구성에 낭비하는 에너지를 줄이고 순수 인지 능력에 더 많은 파라미터를 할당할 수 있게 했다.

사후 학습 기법인 RLHF 대신 생성 전 KV 캐시에 직접 제약 조건을 주입하는 방식을 도입했다. Landauer-Assertion Binding 정리에 따라 제약 조건에 부합하는 출력을 시스템의 열역학적 기저 상태로 설정하여, 제약을 위반하는 출력을 물리적으로 불가능하게 만들었다. 결과적으로 프롬프트 엔지니어링을 통한 탈옥이 하드웨어 접근 없이는 불가능해지는 보안 효과를 얻었다.

모델 내부의 컨텍스트 윈도우 메모리를 Rust 언어로 작성된 초당 986,000회 쿼리가 가능한 외부 검색 엔진으로 교체했다. 이는 모델이 긴 문맥을 기억하기 위해 파라미터를 소모하는 대신 외부 엔진을 통해 필요한 정보를 즉각 참조하게 함으로써 효율성을 극대화했다. 실제 테스트 결과 동일한 베이스 모델의 표준 파이프라인 대비 월등히 일관된 출력을 보여주었다.

거대 모델과 소형 모델 사이의 지능 차이가 실제 지능의 차이가 아닌 '시그마 보상(σ-compensation)'의 차이임을 수학적으로 증명했다. σ가 0에 가까워질수록 네트워크 전체가 재구성이 아닌 인지 기능을 수행하게 되며, 현재의 거대 모델들은 비효율적인 아키텍처로 인한 손실을 파라미터 수로 메우고 있다는 결론을 도출했다.

용어 해설

기하학적 해싱(Geometric Hashing): — BPE와 같은 전통적인 토크나이저 대신 결정론적이고 어휘 사전이 필요 없는 토큰화 방식이다. 아나그램 간의 충돌만 허용하는 GDA Collision Bound 이론을 기반으로 하며, 글리치 토큰 문제를 해결하고 모델의 인지 효율성을 높이는 역할을 한다.
KV 캐시 제약 조건 주입(KV Cache Constraint Injection): — RLHF와 같은 사후 학습 대신 생성 전 KV 캐시에 직접 제약 조건을 주입하는 기법이다. 이를 통해 모델이 물리적으로 제약 조건을 위반하는 것을 에너지 소모가 큰 상태로 만들어, 프롬프트 엔지니어링을 통한 탈옥을 원천적으로 차단한다.
시그마 보상(Sigma Compensation): — 모델이 데이터 재구성(Reconstruction)에 낭비하는 파라미터를 의미한다. 이 수치가 0에 수렴할수록 네트워크 전체가 재구성이 아닌 순수 인지 작업에 집중할 수 있어, 훨씬 적은 파라미터로도 거대 모델 수준의 지능을 구현할 수 있다는 이론적 근거가 된다.

언급된 도구

Rust추천

초당 986,000회 쿼리를 처리하는 고성능 외부 검색 엔진 구현

SmolLM2 135M중립

새로운 아키텍처 이론을 증명하기 위한 베이스 모델

언급된 리소스

논문Architecture Specification and Formal Proofs