3,000개 파라미터 모델로 100만 길이 XOR 시퀀스 완벽 추론: 기하학적 흐름 네트워크(GFN)의 제안

실용적 조언

매우 긴 시퀀스에서 논리적 불변량을 찾아야 하는 작업에 G-SSM 아키텍처 적용을 고려할 수 있다.
메모리 제약이 극심한 엣지 디바이스에서 고정된 2.00 KB 메모리로 텍스트 생성을 시도할 때 ISN 구조가 유용할 수 있다.

섹션별 상세

GFN은 어텐션의 통계적 상관관계 대신 기하학적 매니폴드 상의 입자 흐름으로 연산을 처리한다. 입력은 상태를 대체하는 것이 아니라 궤적을 휘게 하는 섭동(perturbation)으로 작용하여 시스템의 흐름을 변경한다. 이를 통해 컨텍스트 길이에 무관한 O(1) 상태 메모리를 유지하며 구조적 불변량을 학습하는 강력한 귀납적 편향을 가진다. 실무적으로는 KV 캐시가 필요 없는 효율적인 추론 구조를 제공한다.

3,164개의 파라미터를 가진 G-SSM을 길이 20의 XOR 시퀀스로 학습시킨 결과, 길이 1,000,000의 시퀀스에서도 100% 정확도를 달성했다. 모델은 입력 데이터를 순차적으로 처리하며 매니폴드 상의 궤적을 업데이트하고 최종 상태에서 패리티를 판별한다. 200단계 미만의 짧은 학습으로도 패리티 보존의 원환체(toroidal) 대칭성을 완벽히 파악했음이 확인됐다. 이는 단순한 패턴 보간이 아닌 수학적 원리의 학습을 의미한다.

바늘 찾기(Needle-in-a-Haystack) 실험에서 8,109개 파라미터 모델이 길이 32,000까지 100% 정확도와 0% 오탐률을 유지했다. 모델은 특정 토큰(바늘)이 입력될 때 기하학적 공간의 위상을 변형시켜 해당 정보를 상태에 각인한다. 실패 시에도 확률적인 모호함이 아닌 기하학적으로 추적 가능한 결정론적 오류를 보였다. 이는 기존 트랜스포머 기반 모델이 긴 문맥에서 보이는 성능 저하 문제를 아키텍처 차원에서 해결할 가능성을 시사한다.

G-SSM은 Mamba나 S4와 같은 기존 1차 SSM과 달리 2차(second-order) 시스템이며 심플렉틱 적분과 에너지 보존 법칙을 적용한다. 단순한 학습된 게이팅 함수 대신 저순위 크리스토펠 행렬을 사용하여 기하학적 공간 자체를 변형하는 방식을 취한다. 원환체나 유클리드 등 가변적 위상을 지원하여 데이터의 특성에 맞는 최적의 기하학적 구조를 선택할 수 있다. 이러한 물리적 기반 설계는 모델의 해석 가능성과 안정성을 크게 높인다.

용어 해설

기하학적 흐름 네트워크(Geometric Flow Network): — 어텐션의 통계적 상관관계 대신 연산을 기하학적 매니폴드를 흐르는 입자의 궤적으로 처리하는 아키텍처이다. 입력값이 상태를 대체하지 않고 궤적을 휘게 하는 섭동으로 작용하여 무한한 시퀀스에서도 일정한 메모리를 유지한다. 통계적 패턴보다 구조적 불변량을 학습하는 데 유리하다.
측지선 상태 공간 모델(Geodesic State Space Model): — GFN 패러다임을 구현한 구체적인 모델로, 상태 변화를 매니폴드 상의 측지선(최단 경로) 이동으로 모델링한다. 2차 미분 방정식과 심플렉틱 적분을 사용하여 물리적 에너지 보존 법칙을 연산에 도입한다. 매우 적은 파라미터로도 긴 시퀀스의 논리적 구조를 완벽하게 복원하는 특성을 보인다.
심플렉틱 적분(Symplectic Integration): — 해밀턴 역학계의 위상 공간 구조를 보존하면서 미분 방정식을 수치적으로 푸는 기법이다. 장기적인 시뮬레이션에서도 에너지 보존 특성을 유지하여 수치적 오차가 누적되는 것을 방지한다. G-SSM에서 상태 전이의 안정성과 결정론적 추적 가능성을 보장하는 핵심 수학적 도구이다.
KV 캐시(KV Cache): — 트랜스포머 모델이 이전 토큰의 Key와 Value 행렬을 저장하여 재연산을 방지하는 메모리 기법이다. 시퀀스 길이에 비례하여 메모리 사용량이 증가하는 고질적인 문제를 야기한다. GFN은 이 캐시 없이 O(1)의 고정된 메모리만으로 추론이 가능하다는 점을 강조한다.
귀납적 편향(Inductive Bias): — 학습 알고리즘이 보지 못한 데이터에 대해 예측할 때 사용하는 가정들의 집합이다. GFN은 기하학적 대칭성과 물리적 보존 법칙을 아키텍처 자체에 내재화하여 통계적 노이즈 대신 데이터의 본질적인 구조를 우선적으로 학습하도록 유도한다.

언급된 도구

G-SSM추천

기하학적 측지선을 이용한 상태 공간 모델 구현

ISN추천

고정 메모리를 사용하는 관성 상태 네트워크 구현

언급된 리소스

논문GFN Zenodo Paper

GitHubGFN GitHub Repository

DemoGFN Hugging Face Models