ReLU 레이어를 연상 기억 장치 및 해시 테이블로 해석하는 관점

섹션별 상세

ReLU 활성화 함수를 수학적으로 엄밀하게 재해석하려는 시도가 있었다. ReLU의 결정을 0 또는 1의 값을 가진 대각 행렬 D로 변환하면, 레이어 연산은 가중치 W와 입력 x의 곱인 DWx로 표현된다.

이 식에서 W_n+1D_n 항은 특정 입력 패턴(Key)에 대응하는 선형 매핑을 찾는 지역 민감 해시(LSH) 테이블 조회와 수학적으로 동일한 구조를 가진다.

D_n을 키로 활용하는 연상 기억 장치(Associative Memory)의 일종으로 볼 수 있으며, 신경망의 작동 원리에 대한 새로운 직관을 제공한다.

Numenta 포럼의 'Gated Linear Associative Memory' 논의를 인용하며 이론적 통합의 필요성이 제기됐다. 현재는 표기법 문제와 관점의 통합이 초기 단계에 머물러 있다.

렐루(ReLU): — ReLU(Rectified Linear Unit)는 입력이 0보다 크면 입력값을 그대로 반환하고, 0 이하이면 0을 반환하는 활성화 함수이다. 신경망에 비선형성을 도입하여 복잡한 패턴 학습을 가능하게 하며, 계산이 단순하여 대규모 모델 학습에 필수적이다. 본문에서는 이를 0과 1의 대각 행렬로 치환하여 해석한다.
연상 기억 장치(Associative Memory): — 데이터의 주소가 아닌 내용의 일부를 키로 사용하여 저장된 정보를 찾아내는 메모리 구조이다. 신경망이 특정 패턴을 인식하고 관련 정보를 인출하는 메커니즘을 설명할 때 사용된다. 본문에서는 ReLU의 활성화 패턴을 이 메모리의 키로 정의한다.
지역 민감 해싱(Locality Sensitive Hashing): — 유사한 입력값들이 동일한 해시 버킷에 담길 확률이 높도록 설계된 해싱 기법이다. 고차원 데이터의 근사 근접 이웃 검색 등에 활용되며, 본문에서는 ReLU의 패턴 매칭을 이와 연결 지어 설명한다.
대각 행렬(Diagonal Matrix): — 주대각선 성분을 제외한 모든 성분이 0인 정사각 행렬이다. 본문에서는 ReLU의 활성화 여부를 0과 1로 구성된 대각 행렬로 치환하여 선형 대수적으로 분석한다.