심층 ReLU 신경망 근사 분석을 위한 비국소적 기법

섹션별 상세

Daubechies 등이 제안한 ReLU 신경망 기반 조각별 선형 함수 시스템이 다변량 설정에서도 유효함을 확인했다. 이 시스템은

L_2

공간뿐만 아니라 더 복잡한 함수 공간에서도 Riesz 기저 역할을 수행한다.

매끄러움 파라미터가

0 < s < 1

범위에 있는 Sobolev 공간

W^s([0,1]^d)

와 Barron 클래스

B^s([0,1]^d)

에서 해당 시스템이 Riesz 기저임을 증명했다. 이는 심층 ReLU 네트워크가 다양한 함수군을 효율적으로 표현할 수 있는 수학적 근거가 된다.

국소적 근사(local approximation) 대신 비국소적 기법을 사용하여 증명을 수행했다. 이 방식은 수식 내의 암시적 상수(implicit constants)를 명확히 추적할 수 있게 하며, 고차원 데이터에서도 근사 성능이 급격히 저하되지 않음을 보여준다.

함수의 도함수 정보 없이 오직 함수값(function values)만 샘플링할 수 있는 경우에 대한 근사 성능을 분석했다. Sobolev 및 Barron 함수군에 대해 신경망이 달성할 수 있는 최적의 근사 속도를 이론적으로 도출했다.

Riesz 기저(Riesz Basis): — 힐베르트 공간에서 정규 직교 기저의 개념을 일반화한 집합이다. 모든 원소를 기저 벡터들의 선형 결합으로 유일하게 표현할 수 있으며, 신경망의 함수 근사 성능을 수학적으로 증명할 때 핵심적인 도구로 사용된다.
소볼레프 공간(Sobolev Space): — 함수의 값뿐만 아니라 그 도함수들의 $L_p$ 노름이 유한한 함수들의 공간이다. 미분 방정식의 해나 근사 이론에서 함수의 매끄러움(smoothness)을 측정하는 표준적인 틀을 제공한다.
배런 클래스(Barron Class): — 푸리에 변환을 통해 정의되는 함수 집합으로, 단층 또는 다층 신경망으로 근사할 때 오차가 차원의 역수에 비례하여 줄어드는 특성을 가진다. 고차원 근사에서 차원의 저주를 피할 수 있음을 보여주는 중요한 함수군이다.
차원의 저주(Curse of Dimensionality): — 데이터의 차원이 증가함에 따라 공간의 부피가 기하급수적으로 커져서, 유의미한 통계적 결과를 얻기 위해 필요한 데이터 양이 폭발적으로 늘어나는 현상이다. 딥러닝 모델이 이를 어떻게 극복하는지가 주요 연구 대상이다.