GPU와 부동 소수점 없이 비트 연산만으로 구현한 인지 아키텍처: Creation OS

혁신적인 접근 방식에 대해 대체로 긍정적이며, 특히 하드웨어 제약이 있는 환경에서의 활용 가능성에 대해 높은 관심을 보이고 있습니다.

• 임베딩 유사도 계산 시 연산 자원이 부족하다면 이진 벡터화와 POPCNT 명령어를 활용한 최적화를 고려하라.
• 복잡한 라이브러리 의존성을 줄이고 싶다면 표준 C 언어와 비트 대수를 이용한 경량 모델 구현을 검토하라.

Binary Spatter Codes

— 고차원 이진 벡터를 사용하여 정보를 표현하고 연산하는 하이퍼디멘셔널 컴퓨팅 기법이다. XOR, MAJ, POPCNT와 같은 단순 비트 연산만으로 복잡한 유사도 계산과 정보 결합이 가능하여 연산 효율성을 극대화한다.

GEMM

— 딥러닝 모델의 핵심인 행렬 간 곱셈 연산 표준이다. 부동 소수점 연산(FLOPs)을 대량으로 요구하며 GPU 가속의 주된 대상이 되지만, 본 게시물에서는 이를 비트 연산으로 대체하여 효율성을 높였다.

JEPA

— Yann LeCun이 제안한 세계 모델 아키텍처로, 입력의 모든 세부 사항을 복원하는 대신 추상적인 표현 공간에서 예측을 수행한다. 본 프로젝트에서는 이를 에너지 기반 모델로 구현하여 인지 모듈에 통합했다.

POPCNT

— 이진수에서 1로 설정된 비트의 개수를 세는 CPU 명령어이다. 해밍 거리를 계산하거나 이진 벡터 간의 유사도를 측정할 때 핵심적으로 사용되며, 하드웨어 수준에서 매우 빠르게 실행된다.