학습 규칙(BP, PC, STDP)에 따른 인공 신경망과 인간 뇌 시각 피질(V1-IT) 정렬 비교 연구

커뮤니티 반응

연구 결과의 일관성과 방법론에 대한 관심이 높으며, 더 깊은 신경망 구조에서도 동일한 패턴이 나타날지에 대한 논의가 이어지고 있다.

주요 논점

01중립다수

학습 규칙의 국소성이 초기 피질 정렬 보존과 고차원 표현 학습 사이의 트레이드오프를 결정한다.

합의점 vs 논쟁점

합의점

Backprop은 초기 시각 피질(V1) 정렬을 빠르게 파괴한다.
지역적 학습 규칙(PC, STDP)은 BP보다 초기 피질 정렬을 더 잘 유지한다.

논쟁점

더 깊은 신경망 구조에서도 동일한 정렬 패턴이 나타날 것인가에 대한 예측.
CIFAR-10 훈련과 THINGS 데이터셋 평가 간의 도메인 차이가 결과에 미치는 영향.

섹션별 상세

Backprop은 학습 1 epoch 만에 V1 정렬의 90%를 파괴했다. 5개 시드에서 일관되게 나타난 결과로, r값이 0.102에서 0.011로 급감했다. 이는 전역 오차 신호가 상위 표현을 구축하는 대신 초기 시각 피질의 정렬을 저해함을 시사한다.

지역적 학습 규칙인 PC(Predictive Coding)와 STDP는 정렬 유지 측면에서 우위를 보였다. 40 epoch 시점에서 PC(r=0.064)와 STDP(r=0.059)는 BP(r=0.022)보다 높은 정렬 값을 유지했다. 이는 오차 신호의 국소성이 초기 피질 정렬 보존에 유리함을 나타낸다.

LOC(Object-selective cortex)에서는 반대 경향이 관찰되었다. BP는 LOC 정렬을 소폭 증가(+0.011)시킨 반면, 지역적 규칙들은 변화를 보이지 않았다. 이는 전역 오차 신호가 고차원 표현 학습에는 효과적이지만 초기 피질 정렬에는 부정적이라는 근본적인 트레이드오프를 보여준다.

언급된 리소스

논문Learning rules vs. human fMRI paper

논문Companion paper

GitHubGitHub Code