30개 시계열 타겟에 대한 LLM 기대 교정 오차(ECE) 분석 및 시각화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Gemini 2.5 Pro를 이용한 시계열 예측 실험에서 모델의 자기 보고 신뢰도가 타겟 데이터에 따라 0.078에서 0.297까지 큰 편차를 보임을 확인했다.

작성자가 Gemini 2.5 Pro 모델을 사용하여 30개의 주식 종목 시계열 데이터를 예측하고, 모델이 출력한 신뢰도 점수의 정확성을 ECE 지표를 통해 분석한 결과를 공유했다.

LLM을 시계열 예측에 활용할 때 모델이 직접 출력하는 확률값을 그대로 신뢰하기에는 위험 요소가 크다는 점이 확인됐다. 데이터의 도메인이나 타겟의 특성에 따라 신뢰도 오차가 크게 달라지므로, 실무 적용 시에는 반드시 별도의 교정 기법을 병행해야 한다.

Gemini 2.5 Pro 모델을 활용하여 30개의 실세계 시계열 타겟에 대해 38일간의 예측을 수행하고 그 결과에 대한 ECE를 측정했다.

모델에게 각 예측값과 함께 0에서 1 사이의 확률값을 직접 출력하도록 프롬프팅하여 모델 스스로의 신뢰도(Confidence) 데이터를 수집하는 방식을 채택했다.

실험 결과 ECE 수치가 최저 0.078(BKNG)에서 최고 0.297(KHC)까지 넓은 범위로 나타나며 타겟 데이터의 특성에 따라 신뢰도 정확성이 크게 요동쳤다.

동일한 모델과 프롬프트 구성을 유지했음에도 불구하고 구조적으로 유사한 시계열 예측 작업 내에서 모델의 자기 보고 신뢰도가 일관되지 않음을 실증적으로 확인했다.

LLM의 자기 보고 신뢰도는 작업의 구조가 유사하더라도 타겟 데이터의 특성에 따라 신뢰성이 크게 달라질 수 있다.
Gemini 2.5 Pro의 ECE 측정 결과, 특정 종목(BKNG)에서는 비교적 정확한 신뢰도를 보였으나 다른 종목(KHC)에서는 오차가 컸다.
시계열 예측에서 LLM의 확률 출력을 그대로 신뢰하기보다는 ECE와 같은 지표를 통한 사후 교정 과정이 필수적이다.

Gemini 2.5 Pro중립

시계열 예측 수행 및 신뢰도 출력

glassballai추천

30개 시계열 타겟 데이터셋 제공