선택적 표현 공간을 통한 시계열 예측 강화: 패치 관점의 접근 (NeurIPS 2025)

• •고정된 스트라이드 패칭은 비정상성 구간을 구분하지 못함
• •유효 정보와 노이즈가 한 패치에 섞여 표현력이 저하됨
• •SRS는 입력 표현 공간 자체를 적응적으로 재구성함

시계열 데이터에서 패칭은 긴 데이터를 일정 구간씩 묶어 토큰화함으로써 연산 효율을 높이는 기법이다.

• •Look-back window와 Forecasting horizon의 정의
• •PatchTST 등 최신 패치 기반 모델들의 발전 과정
• •실제 데이터의 비정상성이 기존 패칭에 미치는 부정적 영향

비정상성(Non-stationarity)은 시계열의 통계적 특성이 시간에 따라 변하는 성질을 말한다.

• •Selective Patching을 통한 유의미한 정보 추출
• •Dynamic Reassembly를 통한 패치 간 순서 최적화
• •Adaptive Fusion을 통한 기존 정보와의 보완적 결합

• •Argmax 연산의 미분 불가능성 문제 해결
• •순전파의 정확도와 역전파의 학습 가능성을 동시에 확보
• •스코어러 네트워크를 통한 패치 중요도 자동 학습

딥러닝에서 이산적인 선택(Discrete selection)은 미분이 불가능하여 별도의 우회 기법이 필요하다.

• •패치 순서 재배열을 통한 시계열 구조 파악 능력 향상
• •알파 가중치를 이용한 인접 패치와 선택 패치의 적응적 융합
• •재조립된 패치의 위치 정보 유실 방지를 위한 임베딩 추가

Convex Combination은 두 벡터를 가중치 합이 1이 되도록 섞는 방식이다.

• •다양한 데이터셋에서 기존 SOTA 모델 대비 우수한 예측 정확도
• •기존 모델에 쉽게 추가 가능한 플러그인으로서의 범용성
• •낮은 추가 연산 비용(메모리 및 학습 시간) 확인

SOTA(State-of-the-art)는 현재 특정 분야에서 가장 성능이 좋은 모델을 의미한다.