ReLU 결정 행렬과 고속 월시-하다마드 변환을 이용한 신경망 연결성 개선

실용적 조언

신경망 설계 시 ReLU 레이어 이전에 WHT와 같은 직교 변환을 도입하여 가중치 행렬의 연결성을 강화할 수 있다.
역전파 구현 시 H 행렬의 자기 역행렬 특성을 활용하여 코드를 단순화하고 연산 속도를 최적화하라.

섹션별 상세

ReLU 결정을 0 또는 1의 값을 가진 결정 행렬 D로 변환하여 신경망 레이어를 DWx 형태로 정형화했다. 이 모델에서 신경망은 W3D2W2D1W1x와 같은 행렬 곱의 연속으로 표현되며, 각 단계의 결정 행렬 D가 가중치 행렬 W의 열을 선택적으로 활성화하거나 차단하는 역할을 수행한다.

ReLU의 결정 행렬 D가 가중치 행렬 W를 파편화(Fracture)시키는 현상을 방지하기 위해 고속 월시-하다마드 변환(WHT) 행렬 H를 도입했다. H 행렬의 일대다(One-to-all) 연결성 특성을 활용하여 WHD 구조를 형성함으로써, H가 D에 의한 희소성 효과를 가중치 행렬 이전에 흡수하도록 설계했다.

신경망 내부에서 고속 변환을 사용할 때 우려되는 스펙트럼 편향(Spectral Bias) 문제는 수학적으로 직교 벡터 행렬의 연산일 뿐이므로 내부적으로는 큰 문제가 되지 않는다. 다만 신경망의 입력과 출력 단계에서는 이러한 편향이 결과에 영향을 미칠 수 있으므로 별도의 고려가 필요하다는 점이 확인됐다.

H 행렬은 자기 역행렬(Self-inverse) 특성을 가지고 있어 역전파(Backpropagation) 과정에서 별도의 복잡한 계산 없이 동일한 변환을 적용하는 것만으로 기울기 전파가 가능하다. 이는 연산 효율성을 유지하면서도 신경망의 구조적 연결성을 강화할 수 있는 실무적 이점을 제공한다.

용어 해설

정류 선형 유닛(ReLU): — 입력이 0보다 작으면 0을, 0보다 크면 입력값을 그대로 출력하는 활성화 함수이다. 신경망에 비선형성을 부여하며 특정 뉴런을 비활성화(0)하여 희소성을 유도하는 특성이 있다.
고속 월시-하다마드 변환(Fast Walsh Hadamard Transform): — 데이터를 직교 기저로 변환하는 효율적인 알고리즘으로, 신경망 내에서 가중치 행렬의 연결성을 강화하는 데 사용된다. 모든 입력이 모든 출력에 영향을 미치도록 하여 ReLU로 인한 정보 단절을 방지한다.
스펙트럼 편향(Spectral Bias): — 신경망이 복잡한 고주파 함수보다 단순한 저주파 함수를 먼저 학습하려는 경향이다. 특정 변환을 사용할 때 발생할 수 있는 학습의 불균형을 의미하며 모델의 일반화 성능에 영향을 미친다.
직교 벡터(Orthogonal Vector): — 서로 수직인 관계를 가진 벡터들로, 내적이 0이 되는 특성을 가진다. 신경망 가중치 설계 시 정보의 중복을 줄이고 독립적인 특징 추출을 돕는 수학적 기초가 된다.

언급된 도구

Fast Walsh Hadamard Transform (WHT)추천

신경망 내 가중치 행렬의 연결성 강화 및 희소성 효과 흡수

언급된 리소스

문서SeanC4S Archive (관련 수학 자료)