CPU 추론을 겨냥한 NORD 5.5 — Flash

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 약 6개월 만에 Project NORD를 다시 시작하면서 기존 구조를 보수하는 대신 CPU 친화적 inference를 목표로 NORD 5.5 — Flash를 재설계하고 있습니다. 인위적인 내부 spike-time 확장을 없애고 언어 token 시퀀스 자체를 시간축으로 삼아 strictly causal processing, causal convolution-style token mixing, LIF dynamics, persistent recurrent memory, top-1 sparse MoE를 결합하려 합니다. 이전 버전에서 발견한 비인과적 모듈, sequence shape에 종속된 memory state, 실제 training과 분리된 STDP를 정리하는 것이 핵심입니다. 아직 성능 수치는 없으며 NORD 5.0 대비 CPU tokens/sec, memory usage, perplexity 또는 validation loss, long-context behaviour와 주요 구성 요소의 ablation으로 검증할 예정입니다.

섹션별 상세

작성자는 기존 Project NORD의 구조를 계속 보수하는 대신 NORD 5.5 — Flash로 핵심 아키텍처를 다시 만들고 있습니다. 목표는 Transformer를 흉내 낸 뒤 최적화하는 방식이 아니라 CPU 친화적 inference를 처음부터 중심에 두는 것입니다. 이를 위해 strictly causal processing과 표준 quadratic attention을 주된 hot path에서 제외하는 방향을 택했습니다.

기존 버전의 token 내부 시간을 `token -> T0, T1, T2 ... T9`처럼 인위적으로 확장하던 방식에서 벗어나 언어 시퀀스 자체를 `token0 -> token1 -> token2 -> token3 -> ...`의 시간축으로 사용합니다. 여기에 causal convolution-style token mixing과 token-time event/LIF dynamics를 결합해 중간 상태 처리량을 줄이려 합니다. 작성자는 이 변경이 구조를 단순화하고 streaming token-by-token inference에 맞는 계산 흐름을 만든다고 봅니다.

NORD 5.5의 처리 단계는 sensory, association, memory, executive로 나뉘며 top-1 sparse MoE와 shared expert, persistent recurrent memory, persistent recurrent identity state를 포함합니다. 메모리는 structural, personal, auxiliary bank로 분리하고 factorized vocabulary embedding/output layers를 사용하려 합니다. 이 구성은 장기 상태와 token 단위 순차 처리를 아키텍처 내부에 두려는 설계입니다.

작성자는 이전 구조를 재검토하면서 일부 실험 모듈이 strictly causal하지 않았고 memory state가 sequence shape에 지나치게 묶였으며 STDP가 실제 training과 충분히 연결되지 않았다고 밝혔습니다. 따라서 5.5의 초점은 brain-inspired 모듈을 더 추가하는 데 있지 않고 causal state와 학습 연결을 정리하는 데 있습니다. 아직 학습 결과는 없으며 NORD 5.0과 5.5의 비교, CPU tokens/sec, memory usage, perplexity 또는 validation loss, long-context behaviour, memory·MoE·spiking 구성 요소의 ablation을 다음 검증 단계로 계획하고 있습니다.

용어 해설

스파이킹 신경망(Spiking Neural Network): — 뉴런의 연속적인 값 대신 시간에 따른 spike 이벤트를 처리하는 신경망입니다. 이 글에서는 token-time event와 LIF dynamics를 언어 시퀀스의 시간축에 연결해 recurrent language model을 구성하는 기반으로 쓰입니다.
LIF 동역학(LIF dynamics): — Leaky Integrate-and-Fire 뉴런이 입력을 누적하고 임계값에 도달하면 spike를 내보내는 계산 방식입니다. NORD 5.5에서는 각 token을 처리하는 시간 단계에 이 이벤트 기반 상태 변화를 적용하려고 합니다.
희소 Mixture of Experts(sparse MoE): — 여러 expert 중 일부만 선택해 입력을 처리하는 구조입니다. NORD 5.5는 top-1 routing으로 expert 하나를 고르고 shared expert를 함께 사용해 모든 expert를 동시에 실행하지 않는 구성을 목표로 합니다.
스파이크 시간 의존 가소성(STDP): — 뉴런의 spike 발생 시점 차이에 따라 연결 강도를 조정하는 학습 규칙입니다. 이전 NORD에서는 STDP 구성 요소가 실제 학습 과정과 충분히 연결되지 않은 문제가 발견되어 5.5에서 핵심 구조를 정리하는 대상이 됐습니다.
지속형 순환 메모리(persistent recurrent memory): — 시퀀스가 끝나도 내부 상태를 유지하면서 다음 token 처리에 전달하는 recurrent memory입니다. 이 설계는 structural, personal, auxiliary memory bank와 persistent recurrent identity state를 분리해 streaming inference에 활용하려는 방향입니다.