ReLU 결정 행렬과 고속 월시-하다마드 변환을 이용한 신경망 연결성 개선

수학적 접근 방식에 대한 흥미로운 토론이 이루어졌으며, 특히 ReLU의 비선형성을 선형 대수적으로 해석한 점이 주목받았다.

• 신경망 설계 시 ReLU 레이어 이전에 WHT와 같은 직교 변환을 도입하여 가중치 행렬의 연결성을 강화할 수 있다.
• 역전파 구현 시 H 행렬의 자기 역행렬 특성을 활용하여 코드를 단순화하고 연산 속도를 최적화하라.

• ReLU 활성화 함수를 결정 행렬 D로 치환하면 신경망의 연산 과정을 수학적인 행렬 파편화 문제로 정의할 수 있다.
• 고속 월시-하다마드 변환(WHT) 행렬 H를 가중치와 결정 행렬 사이에 삽입하면 ReLU로 인한 정보 손실과 연결성 단절을 보완할 수 있다.
• WHT는 자기 역행렬 특성을 가지므로 추가적인 연산 부담 없이 역전파 알고리즘에 통합되어 학습 효율을 높인다.