18세 개발자의 1B 파라미터 스파이킹 신경망(SNN) 직접 학습 실험

작성자의 어린 나이와 도전적인 실험 정신에 대해 놀라움을 표하며, 기술적인 구현 디렉토리에 대한 심도 있는 질문들이 이어졌다.

• SNN 학습 시 메모리 효율을 극대화하려면 뉴런의 희소성(Sparsity) 변화를 모니터링하며 아키텍처를 조정해야 한다.
• 대규모 모델 학습 시에는 활성화 라우팅이 특정 모듈에 편중되는 현상을 확인하여 메모리 활용도를 최적화할 수 있다.

• 1B 파라미터 규모의 SNN도 적절한 최적화를 통해 ANN 변환 없이 무작위 초기화 상태에서 직접 수렴이 가능하다.
• SNN은 90% 이상의 높은 희소성을 유지하므로 추론 단계에서 기존 트랜스포머 모델보다 훨씬 적은 메모리와 전력을 소모한다.
• 모델 규모가 커질수록 SNN 내부에서 메모리 모듈로의 자발적인 활성화 라우팅 이동이 발생하여 효율적인 정보 저장을 시도한다.