순수 Python·NumPy로 구현한 자체학습 신경망 ONA 개발기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

15세 개발자가 순수 Python과 NumPy만으로 구현한 자체학습 신경망 ONA는 per-neuron attention과 forward-pass learning을 핵심 설계로 삼아 4.4M 파라미터로 경량화되었고 Raspberry Pi Zero에서 동작한다고 보고되었다. Per-neuron attention은 각 뉴런이 고유한 Q/K/V/O 가중치를 가져 쿼리당 3~5개의 뉴런만 활성화하는 희소 라우팅을 가능하게 하고 forward-pass learning은 순전파 중에 즉시 파라미터를 갱신해 역전파 비용을 회피한다. 어휘는 학습 중에 점진적으로 확장되는 self-discovered subword tokenizer로 관리되어 동적 적응을 지원한다. 요약본에는 상세한 업데이트 수식, 병합 기준, 공개된 벤치마크와 재현 가능한 코드가 포함되어 있지 않아 외부 링크의 상세를 통해 검증이 필요하다.

섹션별 상세

모델은 각 뉴런이 고유한 Q/K/V/O 가중치를 가지는 per-neuron attention 구조를 채택하고 있으며 쿼리-키 유사도를 뉴런별로 계산해 소수의 뉴런만 활성화하는 방식으로 동작한다. 입력 쿼리는 모든 뉴런에 대해 유사도 점수를 산출하거나 인덱싱으로 후보를 선별하고, 선별된 3~5개의 뉴런만 활성화되어 내부 attention 연산을 수행해 출력을 만든다. 원문에는 활성화 뉴런 수로 3~5개를 명시하고 있어 희소 라우팅의 정도를 제시하지만 정확한 성능 비교 지표는 포함되어 있지 않다. 이 설계는 활성화 경로를 제한함으로써 연산량과 메모리 사용을 줄일 가능성이 있으나 정확도와의 트레이드오프에 대한 추가 검증이 필요하다.

학습 방식은 전통적 역전파를 사용하지 않고 순전파(forward-pass) 중에 가중치를 갱신하는 구조로 기술되었다. 입력이 들어오면 내부 규칙에 따라 로컬 업데이트가 즉시 적용되어 출력과 동시에 모델 파라미터가 조정되며, 이로 인해 계산 그래프를 저장하거나 역전파를 수행하지 않아 메모리와 계산 부담을 낮출 수 있다. 원문에서는 forward-pass 중의 구체적 업데이트 규칙이나 손실 함수, 학습률 설정 등의 수식이 요약에는 포함되어 있지 않아 재현을 위해 원문 링크의 상세를 확인해야 한다. 순전파 학습은 온라인·지속학습 시나리오에서 유리하지만 안정성·수렴성 검증이 필수이다.

어휘 처리 측면에서는 학습 중 어휘가 성장하는 self-discovered subword tokenizer를 사용한다는 점이 핵심이다. 초기 토큰 집합에서 시작해 학습 데이터의 빈도 및 용례에 따라 병합·분할 규칙으로 하위단어를 생성하고 어휘 테이블을 확장하는 방식이며 이는 고정 어휘의 한계를 완화한다. 다만 원문 요약에는 병합 기준, 통계 임계값, 토큰화 초기화 방식 등의 세부 파라미터가 포함되어 있지 않아 동일한 동작을 재현하려면 본문 상세를 참조해야 한다. 동적 어휘는 장기적 적응과 희소 표현 문제 해결에 기여할 수 있다.

자원 효율성과 지속학습 측면에서 작성자는 모델을 4.4M 파라미터로 설계해 Raspberry Pi Zero에서도 실행 가능하다고 밝히고 Wikipedia와 대화로부터 지속적으로 학습한다고 명시했다. 경량 모델과 희소 라우팅, 순전파 학습의 조합이 제한된 하드웨어에서 온라인 학습을 가능하게 하는 설계적 목표를 반영한다. 원문 링크는 구현 사례를 제공할 것으로 보이나 요약글 자체에는 벤치마크 수치나 학습 곡선, 재현 가능한 코드 스니펫이 포함되어 있지 않아 성능·안정성 입증을 위해 추가 자료 검토가 필요하다. 경량 모델의 실용성은 하드웨어 제약과 학습 안정성 사이의 균형에 달려 있다.

용어 해설

Per-Neuron Attention: — 각 뉴런이 고유한 Q/K/V/O 가중치를 가지며 쿼리-키 유사도를 뉴런 단위로 계산해 일부 뉴런만 활성화시키는 기법이다. 입력 쿼리는 모든 뉴런에 대해 개별적으로 유사도를 계산하거나 효율적 인덱싱으로 소수 경로만 선택되고, 선택된 뉴런들 사이의 attention 연산으로 출력이 생성된다. 이 방식은 전체 뉴런을 모두 활성화하는 전통적 attention 대비 연산 및 메모리 절감 가능성을 제공한다.
Forward-pass Learning: — 역전파(backpropagation)를 수행하지 않고 순전파 과정에서 즉시 가중치를 갱신하는 학습 방식이다. 입력이 들어오면 내부 상태와 로컬 업데이트 규칙이 적용되어 출력과 동시에 파라미터가 조정되며, 이로써 계산 그래프 저장과 역전파 비용을 회피할 수 있다. 구현에서는 업데이트 수식, 학습률 스케줄, 안정화 장치가 핵심적 역할을 한다.
Sparse Routing: — 쿼리 하나에 대해 전체 뉴런 대신 소수의 뉴런만 활성화하여 연산을 수행하는 경로 선택 전략이다. 라우팅은 쿼리와 뉴런 키 간 유사도나 해시 기반 선택으로 결정되며 활성화된 소수 경로만 계산함으로써 연산량과 메모리를 크게 줄일 수 있다. 실제 효용은 활성화되는 노드 수, 선택 기준, 그리고 정확도 손실의 트레이드오프로 결정된다.
Self-Discovered Subword Tokenizer: — 학습 도중 빈도나 통계적 기준으로 하위단어 단위를 점진적으로 탐색·추가하여 어휘를 성장시키는 토크나이저 설계이다. 초기에는 작은 단위에서 시작해 학습 중 발생하는 문자열 패턴을 기반으로 병합·분할 규칙을 적용해 새로운 토큰을 생성하며, 이 과정은 어휘 크기와 표현력의 자동 조정을 허용한다. 구현 세부는 병합 기준과 임계값이 성능에 결정적이다.

언급된 도구

Python추천

모델 구현 및 제어용 프로그래밍 언어

NumPy추천

수치 연산 및 행렬 연산 라이브러리로서 모델 연산을 위한 기본 빌딩블록

언급된 리소스

문서I'm 15, I built a self-learning neural network from scratch (no frameworks, no GPU)