ReLU 결정 행렬과 고속 월시-하다마드 변환을 이용한 신경망 연결성 개선

수학적 접근 방식에 대한 흥미로운 토론이 이루어졌으며, 특히 ReLU의 비선형성을 선형 대수적으로 해석한 점이 주목받았다.

• 신경망 설계 시 ReLU 레이어 이전에 WHT와 같은 직교 변환을 도입하여 가중치 행렬의 연결성을 강화할 수 있다.
• 역전파 구현 시 H 행렬의 자기 역행렬 특성을 활용하여 코드를 단순화하고 연산 속도를 최적화하라.

ReLU

— 입력이 0보다 작으면 0을, 0보다 크면 입력값을 그대로 출력하는 활성화 함수이다. 신경망에 비선형성을 부여하며 특정 뉴런을 비활성화(0)하여 희소성을 유도하는 특성이 있다.

Fast Walsh Hadamard Transform

— 데이터를 직교 기저로 변환하는 효율적인 알고리즘으로, 신경망 내에서 가중치 행렬의 연결성을 강화하는 데 사용된다. 모든 입력이 모든 출력에 영향을 미치도록 하여 ReLU로 인한 정보 단절을 방지한다.

Spectral Bias

— 신경망이 복잡한 고주파 함수보다 단순한 저주파 함수를 먼저 학습하려는 경향이다. 특정 변환을 사용할 때 발생할 수 있는 학습의 불균형을 의미하며 모델의 일반화 성능에 영향을 미친다.

Orthogonal Vector

— 서로 수직인 관계를 가진 벡터들로, 내적이 0이 되는 특성을 가진다. 신경망 가중치 설계 시 정보의 중복을 줄이고 독립적인 특징 추출을 돕는 수학적 기초가 된다.