CellularFlow로 연속 학습과 메모리 저장 분리

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

CellularFlow는 Transformer의 Dense Feed-Forward Network를 Multi-Head Associative DNA Memory Bank와 Episodic Memory Slot Buffer로 대체해 사실 저장과 시퀀스 추론을 분리하는 Continual Learning LLM 아키텍처입니다. 입력은 DNA Memory와 에피소드 메모리에서 정보를 조회·기록한 뒤 Causal Multi-Head Self-Attention과 RoPE를 거쳐 출력으로 전달되며, 추론 중 EMA 기반 무역전파 학습과 선택적 Fine-tuning, 사실 주입의 세 가지 학습 모드를 제공합니다. 저장소에 기재된 62KB 다중 도메인 평가에서 CellularFlow v4는 379K 파라미터로 GPT-mini의 810K보다 적은 규모에서 Perplexity 2.54와 정확도 73.7%를 기록했고, 5개 도메인 순차 학습에서는 83.9%의 지식 유지율을 제시합니다. 다만 결과는 저장소가 제시한 자체 벤치마크 수치이며 외부 재현성이나 비교 조건의 상세 정보는 본문에 포함되지 않았습니다.

섹션별 상세

기존 Transformer는 Dense FFN과 가중치 전체에 지식을 분산 저장하므로 새 도메인을 순차 학습할 때 이전 지식을 잃기 쉽습니다. CellularFlow는 이 경로를 Multi-Head Associative DNA Memory Bank와 Episodic Memory Slot Buffer로 나누고, 메모리 조회 결과를 Causal Self-Attention 입력에 결합합니다. 저장소는 이 분리를 통해 사실 저장과 시퀀스 추론을 분리하고, 메모리 슬롯을 주소화·삭제할 수 있는 구조로 제시합니다.

DNA Memory 경로에서는 각 head가 key-value 연관 메모리 뱅크를 유지하고, 정규화한 입력과 key의 유사도를 계산한 뒤 τ로 조정하고 Top-K 후보에 Softmax를 적용합니다. 선택된 weight와 value를 곱해 출력하며, Gaussian noise를 더해 사용되지 않는 메모리 슬롯으로 라우팅될 가능성을 남깁니다. Head가 syntax, semantics, domain knowledge 같은 하위 공간에 독립적으로 특화되도록 구성한 점이 희소 메모리 조회의 핵심입니다.

python

import torch
from cellularflow import CellularFlowLM, CellularFlowTrainer, BPEDataset

# 1. Initialize tokenizer & dataset
dataset = BPEDataset("Alice was beginning to get very tired of sitting by her sister...", context_len=256)

# 2. Instantiate CellularFlow LM
model = CellularFlowLM(
    vocab_size = dataset.vocab,
    dim = 512,
    n_layers = 6,
    n_heads = 8,
    n_entries = 128,
    context_len = 256,
    use_episodic = True
)

# 3. Pretraining
trainer = CellularFlowTrainer(model, dataset, device="cuda" if torch.cuda.is_available() else "cpu")
trainer.pretrain(epochs=100, seed_dna=True)

# 4. Fast Generation (with KV-Cache)
prompt = "The journey into"
print(trainer.generate(prompt, max_new=100, temperature=0.8))

# 5. Continual Learning: Mode 3 Fact Injection
trainer.inject_fact("The hidden archives are kept inside Vault 42.")

# 6. Continual Learning: Mode 2 Selective Fine-Tuning (Backbone Frozen)
trainer.selective_finetune("Technical medical notes on neurology...", epochs=10)

# 7. Continual Learning: Mode 1 Live Streaming Learning (0 Backprop)
trainer.live_learn("Streaming log telemetry received in real time...")

CellularFlow 모델을 초기화하고 사전 학습한 뒤 KV-Cache 생성, 사실 주입, Selective Fine-Tuning, 실시간 학습을 차례로 실행합니다.

세 가지 학습 모드는 업데이트 범위와 저장 위치를 달리합니다. Mode 1은 inference_write=True에서 추론 중 DNA Memory value를 EMA로 갱신하고 backward pass를 사용하지 않으며, Mode 2는 backbone의 약 85%를 고정한 채 DNA bank만 학습합니다. Mode 3은 inject_fact로 사실을 episodic slot에 기록하고 exp(-0.005 * age) 감쇠를 적용한 뒤 epoch 이후 상위 사실을 DNA bank로 통합합니다.

python

# Start the FastAPI server
uvicorn server.app:app --host 0.0.0.0 --port 8000
Open http://localhost:8000 in your browser to interactively generate text, inspect layer-wise episodic slot utilization, and test live fact injections.

FastAPI 서버를 실행해 웹 대시보드에서 텍스트 생성, 에피소드 슬롯 사용량 확인, 실시간 사실 주입을 수행합니다.

저장소의 62KB 다중 도메인 평가에서 GPT-mini는 810K 파라미터, Perplexity 8.51, 정확도 36.4%를 기록했고 CellularFlow v4는 379K 파라미터, Perplexity 2.54, 정확도 73.7%를 기록했습니다. 문학·과학·역사·기술·시 5개 도메인을 순차 학습한 실험에서는 전체 가중치 Fine-tuning의 유지율이 61.8%였지만 Mode 2 Selective DNA Fine-Tuning은 83.9%로 기재됐습니다. 이 수치는 저장소가 제시한 구조의 파라미터 효율과 망각 완화 가능성을 보여주지만, 비교 실험의 세부 설정과 독립 검증 결과는 제공된 본문에서 확인되지 않습니다.

용어 해설

연속 학습(Continual Learning): — 연속 학습은 모델이 여러 데이터 영역을 순차적으로 학습하면서 기존 지식을 유지하는 방법입니다. CellularFlow는 새 영역을 학습할 때 전체 가중치를 반복 갱신하지 않고 DNA Memory와 Episodic Memory에 정보를 분리 저장해 catastrophic forgetting을 줄입니다.
치명적 망각(Catastrophic Forgetting): — 치명적 망각은 모델이 새 도메인을 학습하는 과정에서 이전 도메인의 지식을 잃는 현상입니다. 이 저장소는 5개 도메인을 순차 학습한 뒤 기존 지식의 유지율을 측정하고, 전체 가중치 Fine-tuning과 Selective Fine-Tuning의 차이를 비교합니다.
에피소드 메모리(Episodic Memory): — Episodic Memory는 개별 사실이나 사건을 별도 슬롯에 빠르게 기록하는 메모리 구조입니다. CellularFlow에서는 사실을 슬롯 버퍼에 쓰고 시간에 따른 감쇠를 적용한 뒤, 중요한 사실을 DNA Memory Bank로 통합합니다.
KV 캐시(KV Cache): — KV Cache는 이전 토큰의 Key와 Value를 저장해 생성 과정에서 이미 계산한 어텐션 상태를 재사용하는 방식입니다. CellularFlow는 이를 증분적으로 유지하고 메모리 조회 경로와 분리해 추론 중 전체 시퀀스를 다시 계산하는 부담을 줄입니다.
FlashAttention: — FlashAttention은 어텐션 계산에서 메모리 접근을 줄여 긴 시퀀스 처리를 빠르게 만드는 구현 방식입니다. CellularFlow는 Causal Multi-Head Self-Attention과 함께 FlashAttention을 사용하고, 설명된 구조에서는 시퀀스 처리 복잡도를 O(T)로 제시합니다.

기술

CellularFlow
PyTorch
UV
FastAPI
FlashAttention
RoPE
CUDA
BPE

활용 사례

추론 중 실시간 사실 주입
새 도메인에 대한 Selective Fine-Tuning
스트리밍 로그의 무역전파 학습
에피소드 슬롯 사용량과 메모리 상태 검사
다중 도메인 순차 학습

언급된 리소스

GitHubcelcilin / cellularflow