GPU와 부동 소수점 없이 비트 연산만으로 구현한 인지 아키텍처: Creation OS

실용적 조언

임베딩 유사도 계산 시 연산 자원이 부족하다면 이진 벡터화와 POPCNT 명령어를 활용한 최적화를 고려하라.
복잡한 라이브러리 의존성을 줄이고 싶다면 표준 C 언어와 비트 대수를 이용한 경량 모델 구현을 검토하라.

섹션별 상세

기존 Transformer의 Attention 연산을 이진 벡터 연산으로 완전히 대체했다. Float32 기반의 코사인 유사도 계산에는 24,576 FLOPs가 소요되지만, Binary Spatter Codes를 사용하면 128번의 비트 연산만으로 동일한 기하학적 측정이 가능하다. 이를 통해 연산 횟수는 192배 감소하고 메모리 사용량은 32배 절감되는 효과를 거두었다.

모든 계산을 XOR, MAJ(Majority), POPCNT라는 세 가지 핵심 비트 연산으로 축소했다. 하드웨어 가속기나 복잡한 행렬 곱셈(GEMM) 없이 표준 C 언어의 최적화만으로 실행 가능하도록 설계되었다. 실제 측정 결과 기존 방식 대비 약 480배 빠른 실행 속도를 기록하며 저사양 하드웨어에서의 구동 가능성을 입증했다.

단일 C 파일 내에 JEPA 스타일의 세계 모델, n-gram 언어 모델, 물리 시뮬레이션 등 26개의 인지 모듈을 통합했다. 각 모듈은 에너지 기반 모델이나 Noether 보존 법칙 등을 비트 대수로 표현하여 작동한다. 이는 거대 언어 모델(LLM)을 대체하기보다는 인지 기본 단위를 비트 연산으로 표현할 수 있음을 보여주는 연구적 성격이 강하다.

용어 해설

이진 스패터 코드(Binary Spatter Codes): — 고차원 이진 벡터를 사용하여 정보를 표현하고 연산하는 하이퍼디멘셔널 컴퓨팅 기법이다. XOR, MAJ, POPCNT와 같은 단순 비트 연산만으로 복잡한 유사도 계산과 정보 결합이 가능하여 연산 효율성을 극대화한다.
일반 행렬 곱셈(GEMM): — 딥러닝 모델의 핵심인 행렬 간 곱셈 연산 표준이다. 부동 소수점 연산(FLOPs)을 대량으로 요구하며 GPU 가속의 주된 대상이 되지만, 본 게시물에서는 이를 비트 연산으로 대체하여 효율성을 높였다.
합동 임베딩 예측 아키텍처(JEPA): — Yann LeCun이 제안한 세계 모델 아키텍처로, 입력의 모든 세부 사항을 복원하는 대신 추상적인 표현 공간에서 예측을 수행한다. 본 프로젝트에서는 이를 에너지 기반 모델로 구현하여 인지 모듈에 통합했다.
인구수 계산(POPCNT): — 이진수에서 1로 설정된 비트의 개수를 세는 CPU 명령어이다. 해밍 거리를 계산하거나 이진 벡터 간의 유사도를 측정할 때 핵심적으로 사용되며, 하드웨어 수준에서 매우 빠르게 실행된다.

언급된 도구

Creation OS추천링크

비트 연산 기반의 오픈소스 인지 아키텍처 및 연구 프로토타입

언급된 리소스

GitHubCreation OS GitHub Repository