Glitch AI - Conception: RAM 병목을 해결한 새로운 신경망 아키텍처

실용적 조언

저사양 하드웨어에서 대규모 모델을 구동하려면 신경망을 작업 단위로 분할하여 동적으로 로드하는 전략을 고려할 것
사용자 행동 관찰(Passive mode)과 직접 시연(Active mode)을 결합한 점진적 학습 방식을 적용해 볼 것

섹션별 상세

RAM 병목 현상을 해결하기 위해 신경망을 소규모 서브 네트워크로 분할하는 아키텍처를 도입했다. 전체 모델을 한꺼번에 로드하는 대신 사용 시점에 필요한 부분만 불러옴으로써 저사양 소비자용 하드웨어에서도 수십억 개의 파라미터를 처리할 수 있게 설계했다. 이 방식은 모델 스케일링의 물리적 한계를 소프트웨어 구조로 극복했다.

모델의 핵심 코어는 수십만 개의 파라미터로 구성된 매우 컴팩트한 형태이다. 새로운 상황이 발생할 때마다 '메모리 마이크로 네트워크'를 자동 생성하여 지식을 확장하며, 이를 통해 GPU 없이도 모델의 복잡도를 무한히 늘릴 수 있는 구조를 구현했다. 결과적으로 저사양 PC에서도 고성능 AI 운영이 가능해졌다.

Glitch 프로젝트의 파일 구조를 보여주는 윈도우 탐색기 스크린샷이다. — Screenshotapi, checkpoints, images, logs, memory, tools, ui 등의 폴더 구조를 통해 프로젝트의 구성 요소를 확인할 수 있다. 특히 memory와 checkpoints 폴더는 본문에서 언급한 마이크로 네트워크 기반의 동적 학습 구조가 실제로 구현되어 있음을 뒷받침한다.

데이터셋을 통한 패턴 수렴 방식 대신 환경을 탐색하고 결과를 기록하는 인간과 유사한 학습 방식을 채택했다. 패시브 데스크톱 모드에서는 화면과 키보드 입력을 감시하여 메모리를 생성하고, 액티브 모드에서는 직접 명령을 시도하며 결과를 마이크로 네트워크에 저장한다. 이는 정적 데이터 학습의 한계를 넘어서는 실시간 상호작용 학습이다.

사용자가 직접 시연하는 '원숭이 따라하기(Monkey see, monkey do)' 방식을 통해 단순한 작업부터 복잡한 작업까지 단계별로 교육한다. 사용자가 직접 올바른 명령을 입력하여 가이드를 줄 수 있으며, 현재는 이 방식을 활용해 AI에게 DOOM 게임 플레이를 학습시키고 있다. 아이를 기르거나 강아지를 훈련시키는 것과 유사한 사용자 경험을 제공한다.

용어 해설

서브 네트워크(Sub-network): — 전체 신경망을 특정 작업이나 상황에 특화된 작은 단위로 분할한 구조이다. 필요한 시점에만 해당 단위를 메모리에 로드함으로써 전체 모델을 한꺼번에 불러올 때 발생하는 RAM 병목 현상을 해결하고 자원 효율성을 극대화한다.
파라미터(Parameter): — 모델이 학습 과정에서 데이터로부터 습득하여 조정하는 가중치 값들이다. 파라미터의 수는 모델의 복잡도와 표현 능력을 결정하는 핵심 지표이며, 일반적으로 파라미터가 많을수록 더 복잡한 패턴을 이해할 수 있다.
마이크로 네트워크(Micro-network): — Glitch AI 아키텍처에서 새로운 상황이나 지식을 마주할 때마다 자동으로 생성되는 초소형 신경망 단위이다. 특정 기억이나 통찰을 독립적으로 저장하며, 필요할 때 코어 모델과 결합하여 추론에 기여하는 동적 확장 구조의 핵심 요소이다.

언급된 도구

Claude추천

AI 개발 파트너 및 아키텍처 설계 보조