Project Nord: CRDT를 활용한 10억 파라미터 SNN 분산 학습 및 가중치 병합 성공

실용적 조언

SNN이나 희소 모델을 병합할 때는 단순 평균 대신 신호를 보존할 수 있는 Sparse-Aware 병합 로직을 검토하라.
예산이 제한적인 프로젝트라면 crdt-merge와 같은 도구를 활용해 분산된 저사양 GPU 자원을 활용하는 방안을 고려하라.

섹션별 상세

기존의 단순 가중치 평균 방식(FedAvg)이 SNN 모델의 지능을 저하시키는 문제를 확인했다. 특정 노드에서 발화한 뉴런(0.8)과 침묵한 뉴런(0.0)을 평균내면 0.4가 되어 SNN 특유의 스파이크 동역학이 희석되고 신호가 소실된다. 이를 해결하기 위해 단순 산술 평균이 아닌 논리적 결합 방식의 접근이 필요함을 시사했다.

CRDT(Conflict-Free Replicated Data Types)를 활용한 'Sparse-Aware / OR-Set' 병합 로직을 구현하여 문제를 해결했다. 이 방식은 가중치를 활성 기여도의 집합으로 취급하여, 어떤 샤드에서든 뉴런이 발화했다면 해당 신호를 보존하도록 설계되었다. 실제 835개 레이어의 체크포인트에서 테스트한 결과, 최대 오차 0.005 미만으로 병합에 성공했다.

병합 과정에서 모델의 핵심인 93% 희소성 구조를 완벽하게 보존하는 성과를 거두었다. 이는 고가의 A100 클러스터 없이도 Colab 프리티어나 로컬 GPU 등 분산된 자원을 활용해 모델을 학습시킬 수 있음을 의미한다. 결과적으로 비용을 전혀 들이지 않고도 대규모 모델을 유지 및 관리할 수 있는 경로를 확보했다.

향후 계획으로 아키텍처를 100억 파라미터 규모로 확장하는 수평적 확장을 목표로 설정했다. 분산된 자원들로부터 '스파이크' 신호를 수집하여 마스터 브레인으로 병합하는 방식을 통해 Transformer 대비 전력 효율이 높은 Edge AI 대안을 제시하고자 한다. SNN이 대규모 스케일에서도 효율성을 유지할 수 있는지 검증하는 것이 다음 단계의 핵심이다.

용어 해설

스파이킹 신경망(SNN): — 생물학적 뉴런의 작동 방식을 모방하여 정보를 이진 스파이크 형태로 처리하는 신경망 구조이다. 전통적인 인공신경망과 달리 시간적 요소를 포함하며, 신호가 있을 때만 계산을 수행하여 전력 효율이 매우 높다. Edge AI와 저전력 컴퓨팅 분야에서 차세대 아키텍처로 주목받고 있다.
충돌 없는 복제 데이터 타입(CRDT): — 네트워크로 연결된 여러 노드에서 데이터를 독립적으로 업데이트하더라도 충돌 없이 하나의 일관된 상태로 병합할 수 있는 데이터 구조이다. 분산 시스템에서 중앙 제어 없이도 데이터 정합성을 보장하며, 이 게시물에서는 분산 학습된 모델 가중치를 병합하는 데 사용되었다.
희소성(Sparsity): — 모델의 파라미터나 활성화 값 중 0인 요소가 차지하는 비율을 의미한다. SNN은 높은 희소성을 유지함으로써 불필요한 연산을 줄이고 효율성을 극대화한다. 가중치 병합 시 이 희소 구조를 보존하는 것이 모델의 지능과 성능 유지에 핵심적이다.
연합 평균(FedAvg): — 분산 학습 환경에서 각 노드가 학습한 가중치를 단순 평균하여 중앙 모델을 업데이트하는 알고리즘이다. 구현이 간단하지만, SNN처럼 희소성이 중요한 모델에서는 신호 강도를 희석시켜 모델의 성능을 저하시키는 문제를 일으킬 수 있다.

언급된 도구

crdt-merge추천

CRDT를 사용하여 신경망 가중치를 충돌 없이 병합하는 도구