hadamard-mlp

Hadamard MLP는 업·다운 프로젝션 대신 고정된 Walsh-Hadamard 변환과 학습 가능한 대각행렬을 결합해 채널 혼합을 수행하는 구조이다. Walsh 변환은 가중치 읽기 비용을 거의 발생시키지 않으면서 n log n 시간 안에 계산되며, 대각 성분들이 채널별 스케일링을 책임져 매개변수 소비를 최소화한다. 특히 파라미터가 제한된 소형 모델에서 채널 혼합 성능을 저비용으로 확보하는 역할을 한다.