뉴럴 오퍼레이터(Neural Operator) 입문: 함수 간 매핑을 학습하는 새로운 딥러닝 패러다임

• •기존 모델의 해상도 의존성 한계 극복 목표
• •함수 공간 사이의 매핑을 학습하는 연산자 개념 도입
• •이산화 불변 및 전역 정보 처리의 중요성 강조

• •PINN은 해상도와 무관한 Mesh-free 예측이 가능함
• •조건(초기값, 계수 등) 변경 시 재학습이 필요한 Instance-specific 모델임
• •함수와 함수 사이의 일반적인 관계를 학습하지 못함

PINN은 물리 법칙을 신경망의 제약 조건으로 활용하여 데이터가 부족한 상황에서도 물리적으로 타당한 결과를 도출하는 기법이다.

• •함수 공간 사이의 매핑을 수행하는 G 연산자 학습
• •입력 데이터의 해상도가 달라져도 동일한 연산 수행 가능
• •로컬 피처와 전역 정보를 동시에 처리하는 구조 필요

연산자(Operator)는 수학적으로 하나의 함수 공간에서 다른 함수 공간으로의 매핑을 의미한다.

• •정의구역 내 모든 점 간의 관계를 집계하여 전역 정보 반영
• •연산 복잡도가 O(N^2)으로 매우 높음
• •데이터로부터 적절한 커널 함수를 직접 학습하기 어려움

커널 적분은 신호 처리나 통계학에서 데이터 간의 유사도를 기반으로 정보를 통합할 때 널리 사용되는 수학적 도구이다.

• •FFT를 통해 연산 복잡도를 O(N log N)으로 개선
• •저주파 성분(Global feature) 위주의 가중치 학습 수행
• •이론적으로 이산화 불변 특성을 완벽히 충족함

푸리에 변환은 시간이나 공간 영역의 신호를 주파수 성분으로 분해하는 기법으로, 전역적인 주기성을 파악하는 데 유리하다.

• •한 점의 입력이 전체 영역으로 퍼지는 전역적 영향력 확인
• •주요 물리 방정식 해결에서 SOTA 성능 달성
• •격자 의존성이 낮아 다양한 해상도에서 안정적 동작

PDE(편미분 방정식) 벤치마크는 유체 역학이나 열전달 등 물리 현상을 시뮬레이션하는 모델의 성능을 평가하는 기준이다.

• •규칙적인 격자 데이터에 대한 의존성 존재
• •비주기적 경계 조건 및 고주파 정보(엣지) 처리에 취약
• •하이퍼파라미터(주파수 모드 수) 설정에 민감함

FFT(고속 푸리에 변환)는 데이터가 일정한 간격의 격자에 배치되어 있을 때만 효율적으로 동작한다.

• •어텐션은 이산화 불변 및 전역 정보 처리 특성을 이미 보유함
• •연속 함수 공간에서의 어텐션 정의 및 수학적 증명 제시
• •트랜스포머를 뉴럴 오퍼레이터의 일종으로 간주 가능

몬테카를로 근사는 난수를 이용하여 적분 등의 수학적 값을 확률적으로 추정하는 방법이다.

• •ViT의 어텐션을 FNO 기반 토큰 믹서로 대체하여 효율성 증대
• •입력에 따라 가중치가 변하는 Adaptive weighting 방식 적용
• •이미지 데이터의 고주파 성분(엣지) 보존을 위한 구조 개선

토큰 믹싱은 트랜스포머 모델에서 각 토큰 간의 정보를 섞어 문맥을 파악하는 핵심 단계이다.