Auxein의 제약 기반 연속 학습 시스템

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Auxein은 고정 차원 벡터 스트림을 라벨, supervised loss, backpropagation, 고정된 `k`, winner-take-all 없이 처리하는 연속 학습 시스템입니다. 지식은 support·center·scalar dispersion을 담은 centered kernel `(W, C, V)`로 저장되고, 여러 CELL이 같은 입력을 동시에 인식할 수 있습니다. 미확인 입력은 provisional memory `Σ`에서 반복 여부를 거쳐 영구 CELL로 성숙하며, 상위 계층은 하위 CELL의 ID가 아닌 기하학적 context를 학습합니다. 인접한 시점의 문맥으로 후속 후보를 예측하지만 확률적 ranking이나 재귀적 rollout은 제공하지 않고, 유한 메모리 예산을 넘으면 새 지식의 성장을 멈춥니다.

섹션별 상세

Auxein은 고정 차원 벡터 스트림을 받아 training/inference 분리, labels, supervised loss, backpropagation, fixed `k`, winner-take-all, persistent graph 없이 계속 학습합니다. 기본 지식 단위는 support, center, scalar dispersion을 담은 centered kernel `(W, C, V)`이며, 각 CELL은 입력이 자신과 기하학적으로 관련되는지를 독립적으로 판단합니다. 여러 CELL이 하나의 입력을 동시에 인식할 수 있어 단일 승자 선택 대신 반복되는 구조를 보존하는 방식입니다.

기존 CELL이 인식하지 못한 입력은 즉시 새 범주가 되지 않고 private provisional memory `Σ`에 들어갑니다. 미확인 구조가 반복될 때만 persistent CELL로 성숙하고, 그렇지 않으면 점차 사라지므로 일회성 이상치가 장기 지식으로 고정되는 것을 막습니다. 인식된 지식은 context로 융합되어 동일한 구조의 higher layer로 전달되며, higher layer는 하위 CELL의 ID나 링크가 아니라 기하학적 context만 받아 알려진 대상 사이의 반복 관계를 별도 학습 대상으로 삼습니다.

예측 기능은 외부에서 선언한 시퀀스의 인접한 문맥을 `E ⊕ E` 공간의 기하로 저장하고, 현재 context가 학습된 temporal knowledge의 source 쪽과 닮으면 하나 이상의 즉시 후속 후보를 방출합니다. 후보는 확률이 아니므로 새 미래를 추가해도 기존 미래의 weight가 줄지 않으며, 예측 결과를 다시 모델에 넣어 재귀적으로 rollout하지 않습니다. 메모리도 명시적인 유한 자원으로 취급해 새 지식이 solvent state에 들어가지 않으면 성장을 멈추고, 현재 상태가 materially insolvent가 된 경우에만 강제 forgetting을 허용합니다.

현재 설계에는 scalar dispersion만 있고 oriented covariance가 없으며, 기존 prototype을 명시적으로 split하는 기능도 없습니다. temporal learning은 인접한 `t → t+1`에 한정되고 recursive predictive rollout이나 대안 미래의 확률적 ranking을 지원하지 않으며, persistent relational/topological graph도 없습니다. README에는 online k-means, ART, GWR/Gamma-GWR, standard HMM과의 비교표가 있으며, 프로젝트는 순수 Python 실행 reference, dependency-free Rust 구현, persistence, exact memory accounting, hostile-input tests와 long endurance runs을 제공한다고 밝혔습니다.

용어 해설

연속 학습(Continual Learning): — 데이터가 순차적으로 들어오는 동안 별도의 고정 학습 단계와 추론 단계를 나누지 않고 지식을 계속 갱신하는 학습 방식입니다. Auxein은 라벨과 backpropagation 없이 새로운 기하학적 구조를 축적하고, 반복되지 않는 미확인 구조는 provisional memory에서 사라지게 합니다.
중심화 커널(Centered Kernel): — 입력 공간에서 학습된 대상의 지지 영역, 중심, 스칼라 분산을 함께 표현하는 기하학적 객체입니다. Auxein에서는 `(W, C, V)` 형태로 저장되며, CELL이 새 입력이 자신과 기하학적으로 관련되는지를 판단하는 기준으로 사용됩니다.
잠정 메모리(Provisional Memory): — 처음 등장해 기존 CELL이 인식하지 못한 입력을 즉시 영구 범주로 만들지 않고 임시로 보관하는 공간입니다. 같은 미확인 구조가 반복될 때만 persistent CELL로 성숙하며, 반복되지 않으면 기억에서 서서히 사라집니다.
승자 독식(Winner-Take-All): — 여러 후보 중 하나의 유닛만 선택해 입력을 처리하게 만드는 경쟁 방식입니다. Auxein은 이 제약을 사용하지 않으므로 하나의 입력을 여러 CELL이 동시에 인식할 수 있고, 인식된 결과를 기하학적 context로 융합할 수 있습니다.
예측 상태(Predictive State): — 현재 관측이나 문맥에서 이후에 나타날 상태를 내부 표현으로 예측하는 학습 관점입니다. Auxein은 외부에서 선언된 시퀀스의 인접한 `t → t+1` 문맥을 `E ⊕ E`의 기하로 학습하고, 가능한 후속 문맥을 독립적인 후보로 방출합니다.
온라인 k-means(online k-means): — 입력이 스트림으로 들어올 때 중심을 순차적으로 갱신하는 clustering 방법입니다. Auxein README의 비교 대상 중 하나이며, Auxein은 고정된 `k`와 winner-take-all 선택을 두지 않는다는 점에서 다른 구조를 취합니다.

언급된 도구

Python중립

Auxein의 reference implementation을 실행하는 언어

Rust중립

persistence와 exact memory accounting 등을 포함한 production-oriented 구현에 사용된 언어

언급된 리소스

GitHubAmund/auxein

GitHubAmund/auxein-rs