시계열 예측에서 선형 모델은 어느 정도의 성능을 낼 수 있는가

대부분의 장기 시계열 연구는 모델 용량 확장에 초점을 맞추었으나 이 논문은 전처리 튜닝만으로 비용을 훨씬 낮추면서 성능 격차를 대부분 줄일 수 있음을 보였다. 간단한 선형 모델인 Ridge regression을 고도로 최적화된 전처리와 결합하면 Transformer·MLP 계열과 경쟁할 수 있다는 점이 실무와 연구 양쪽에 직접적인 의미를 가진다. 또한 최적 하이퍼파라미터 자체가 데이터의 구조적 특성(스케일링, 비정상성, 채널 이질성)을 드러내는 진단 도구로 작동했다.

출발점은 많은 현대 시계열 연구가 모델 용량 확장에 의존해 입력 전처리의 약점을 파라미터로 보완하는 패턴을 보인다는 점이다. 선형 모델은 비선형 모델처럼 큰 파라미터로 부적절한 전처리를 보완할 수 없기 때문에 전처리 선택에 훨씬 민감하다. 따라서 모델을 고정하고 전처리를 집중적으로 탐색하면 비용 효율적으로 성능을 끌어올릴 수 있다. 이 논문의 해결 원리는 전처리 공간을 체계적으로 탐색해 Ridge regression의 입력 표현을 최적화하는 것이다. 구체적으로 탐색 축은 문맥 길이 L, 로컬 정규화 비율 r, 정규화 강도 α, 시간 및 주파수 도메인 증강 σ로 정의된다. Ridge regression은 닫힌 해(closed-form)를 가지므로 각 후보 전처리에 대해 수밀한 검증을 실행해 최적 하이퍼파라미터를 읽어낼 수 있다. 전처리 탐색이 작동하는 구체적 원리는 다음과 같다. 문맥 길이는 모델에 제공되는 입력 차원을 결정하므로 L이 너무 크면 비정상성으로 유해한 정보가 유입된다. 로컬 정규화는 입력 윈도우의 후행 분율에서 통계를 계산해 최근 분포 변화를 반영하고, 추가로 σ를 회귀 입력으로 넣어 변동성 의존적 보정을 학습시키는 방식으로 동작한다. 달라지는 점은 전처리 최적화가 단순한 성능 향상을 넘어서 데이터 자체의 구조를 진단하는 도구로 작동한다는 점이다. 예컨대 데이터셋별로 L∗(H) 스케일링 지수가 서로 다른 것은 데이터의 계절성·비정상성·채널 이질성이 서로 다름을 시사하며 이 정보는 더 복잡한 모델을 설계하거나 데이터 전처리를 자동화할 때 직접 활용될 수 있다.

모델 선택은 단순성을 위해 Ridge regression으로 고정되었다. Ridge는 입력 맥락 x∈R^L과 목표 y∈R^H에 대해 W^*=Y X^T (X X^T + α I)^{-1} 형태의 닫힌 해를 가지므로 반복적 SGD 최적화가 필요 없고 각 전처리 후보에 대해 즉시 가중치를 얻을 수 있다. 이 특성은 대규모 하이퍼파라미터 스윕을 가능하게 했다. 전처리 파이프라인은 네 축으로 정형화되었다. 문맥 길이 L은 [32,2048] 범위를 로그 스케일로 탐색했고 로컬 정규화는 후행 분율 r∈[0.001,1.0]을 로그 스케일로 탐색했다. 증강은 시간 도메인 가우시안 노이즈, 주파수 도메인 푸리에 계수 노이즈, 또는 무증강 중 선택하게 했으며 σ는 [0.001,0.5] 범위에서 탐색했다. 그룹화된 탐색은 지평선 그룹 크기 g_h와 시리즈 그룹 크기 g_s의 쌍으로 정의되었다. 각 그룹 셀은 Optuna의 TPE로 20 trials를 수행하고 α는 내부적으로 21개 로그 스페이스 값으로 그리드 선택해 검증 손실을 최소화했다. 검증은 시계열 순서를 지키는 expanding-window 3-fold 교차검증을 사용했고 g_h=48을 기본값으로 채택해 효율과 안정성 균형을 맞추었다. 평가는 표준 장기 예측 컷오프 H∈{96,192,336,720}에 대해 데이터셋별 chronologial split을 사용해 수행되었다. 비교 대상은 OLS, FITS, DLinear와 같은 선형 계열과 PatchTST, iTransformer, TimeMixer, TimesNet, Autoformer와 같은 비선형 계열이었다. 각 실험은 동일 검증 샘플 수를 유지해 길이 L을 탐색하더라도 검증 샘플 수가 늘어나지 않도록 설계되었다.

SearchCast의 전처리 최적화된 Ridge는 선형 모델 클래스 내에서 7개 데이터셋 중 최상 평균 MSE를 기록했고 ETTh2에서는 FITS와 동률을 이루었다. OLS 대비 개선률은 ETTm2에서 4.8%, ETTh1에서 4.3%, Exchange에서 14.8%로 보고되었다. 비선형 모델과 비교하면 8개 벤치마크 중 6개에서 동등하거나 우수한 평균 성능을 달성했다. Transformer 계열이 우위를 보인 데이터셋은 Electricity와 Traffic으로, 이 두 데이터셋은 채널 수가 각각 321와 862로 매우 많아 채널 간 공유된 표현이 Transformer에 유리하게 작용했다. 이 결과는 중간 수준의 시리즈 그룹화(g_s≈32)가 이러한 대규모 멀티채널 데이터에서 이득을 얻을 수 있음을 함께 시사했다. 전처리 탐색이 모델 클래스 전체에 적용 가능한 이점임에도 불구하고 채널 공유 표현이 중요한 경우 비선형 모델이 유리함이 확인되었다. 문맥 길이 스케일링 분석에서 최적 lookback L와 지평선 H 사이의 거듭제곱 관계 L∝H^b에 대한 b 값은 데이터셋마다 크게 달랐다. 관찰된 범위는 b=+0.46에서 b=−0.19까지이므로 일부 데이터는 지평선 증가에 따라 더 긴 과거를 요구한 반면 다른 데이터는 오히려 짧은 과거를 선호했다. 이 비일관성은 표준화된 고정 L 설정이 여러 데이터셋에 대해 부적절할 수 있음을 시사한다.

전체 아키텍처는 채널 독립적 단일-선형 회귀로 모델을 고정하고 전처리 공간을 탐색하는 구조이다. 수식적으로 입력 맥락 X∈R^{L×N}와 타깃 Y∈R^{H×N}이 주어지면 Ridge 해는 W^=Y X^T (X X^T + α I)^{-1}이다. 이 수식에서 입력 행렬 X와 정규화 항 α I를 사용해 역행렬을 계산하면 W^가 바로 얻어지고, 이 값은 각 지평선별 가중치 행을 포함해 예측 가중치의 크기와 시차 의존성을 직접 해석 가능하게 만든다. 로컬 정규화는 각 입력 윈도우에 대해 후행 r·L 샘플의 평균 μ와 표준편차 σ를 계산하는 방식으로 동작한다. 구체적 계산은 윈도우의 마지막 r·L 지점을 입력으로 받아 평균을 빼고 표준편차로 나누는 표준화 연산을 수행해 표준화된 벡터를 만든다. 추가로 σ 값을 회귀 피처로 넣어 변동성 의존적 보정을 허용함으로써 표준화가 완전히 정보 손실을 일으키지 않도록 했다. 그룹화 탐색은 (g_h,g_s) 쌍으로 탐색 영역을 분할하고 각 셀에서 Optuna TPE로 20 trials를 실행했다. 각 trial은 L,r,증강 유형과 σ를 샘플링하고 α는 내부 그리드로 최적화해 검증 MSE를 비교했다. 검증은 시계열 순서를 지키는 expanding-window 3-fold 교차검증을 사용해 시간적 누수 없이 하이퍼파라미터 성능을 평가했다. 가중치 시각화는 선택된 L들이 실제로는 특정 시차들에 집중된 'phase-matched anchors'로 사용된다는 사실을 보여주었다. 예를 들어 Traffic에서는 주간(168 스텝) 띠가 뚜렷하게 나타나고 Exchange는 최근 시차에 거의 전적으로 의존하는 패턴을 보였다. 이 관찰은 긴 L의 역할이 전체 과거를 동등하게 참조하는 것이 아니라 특정 주기·참조 시점을 모델에 제공하는 것임을 수치적으로 확인했다.

논문이 명시한 제한점 중 하나는 매우 채널 수가 많은 데이터셋(Electricity, Traffic)에서는 채널 간 공유 표현을 학습하는 비선형 모델이 여전히 이득을 보인다는 점이다. 그룹화된 탐색은 계산 비용을 줄이지만 그룹 경계에서 하이퍼파라미터가 불연속적으로 바뀌어 예측 시점에서 불연속성(점프)을 유발할 수 있음이 보고되었다. 완전한 per-series·per-horizon 탐색은 예산이 커질수록 비용이 급증하므로 실무 적용에서는 탐색 비용과 이득의 균형을 맞춰야 한다.