과거 데이터로 미래를 예측하는 자기회귀(Autoregressive) 모델의 이해

섹션별 상세

자기회귀 모델은 자기 자신의 과거 값을 사용하여 현재 또는 미래의 값을 예측하는 모델이다. 과거의 데이터가 미래의 정보를 포함하고 있다는 전제하에, 시계열 데이터의 패턴을 학습한다.

근거

기본적인 AR(1) 모델은 이전 시점의 값 하나만을 사용하여 현재 값을 예측하며, AR(p) 모델은 p개의 과거 관측값을 입력으로 사용한다. 수식으로는 현재 값에 상수, 과거 값의 가중치 합, 그리고 오차항을 더하여 표현된다.

근거

언어 모델링에서 자기회귀 방식은 텍스트를 한 번에 생성하지 않고 토큰 단위로 순차적으로 생성한다. 이전 토큰들을 입력으로 받아 다음 토큰의 확률 분포를 계산하며, 이를 반복하여 문장을 완성한다.

근거

자기회귀 언어 모델은 텍스트를 한 번에 생성하지 않고 토큰 단위로 순차적으로 생성한다. — Autoregressive Models in Language Modeling 섹션

자기회귀 모델은 단순하고 해석 가능하며 시계열 예측에 강력한 성능을 보인다. 그러나 비선형적인 패턴이나 외부 요인에 의한 급격한 변화를 포착하는 데는 한계가 있어, 복잡한 데이터에는 Transformer나 LSTM 같은 딥러닝 모델이 사용된다.

자기회귀 모델(Autoregressive Model): — 과거의 관측값을 사용하여 미래의 값을 예측하는 통계 및 머신러닝 모델. 시계열 데이터에서 이전 시점의 값들이 현재 값에 영향을 미친다는 전제하에 패턴을 학습한다.
시계열 예측(Time Series Forecasting): — 시간 순서대로 나열된 데이터를 분석하여 미래의 값을 예측하는 기법. 주식 가격, 기상 데이터, 웹사이트 트래픽 등 시간에 따라 변화하는 데이터를 다룬다.
토큰(Token): — LLM이 텍스트를 처리하는 기본 단위. 단어, 단어의 일부, 또는 문자가 될 수 있으며, 모델은 이 토큰들을 순차적으로 예측하여 문장을 생성한다.