LLM의 주식 예측 데이터셋 구축 및 시각화 실험

작성자의 실험 방식에 흥미를 보이며 데이터셋 공유를 요청하는 사용자들이 많으며, 특히 모델의 신뢰도 점수가 실제 정확도와 얼마나 일치하는지에 대한 질문이 이어지고 있습니다.

• LLM 실험 시 고정된 프롬프트와 파라미터를 사용하여 변수를 통제해야 데이터의 신뢰성을 확보할 수 있다.
• 모델의 신뢰도 점수를 ECE 지표와 함께 분석하여 모델이 '모르는 것을 모른다고 하는지' 확인하라.

• LLM의 예측 능력을 평가할 때는 단순 정확도뿐만 아니라 모델이 제시하는 추론 근거와 스스로 느끼는 신뢰도(Self-reported confidence) 간의 상관관계를 분석하는 것이 중요하다.
• 시계열 데이터 예측 실험 시 사후 편향을 방지하기 위해 실시간으로 데이터를 수집하는 크론잡 방식의 데이터셋 구축이 필수적이다.
• Gemini Flash와 같은 경량화 모델을 활용하면 대규모 예측 실험을 낮은 비용으로 수행하여 통계적 패턴을 추출하는 데 유리하다.