클로드에게 주식 관련 모든 공개 데이터 소스 접근 권한을 부여했습니다

실용적 조언

복잡한 RAG 시스템에서 의도 파악(Intent)과 데이터 추출은 가벼운 모델(Haiku)을 사용하고, 최종 요약은 고성능 모델(Sonnet)을 사용하는 것이 비용 효율적이다.
전체 데이터를 주입하기보다 사용자 필터링을 거친 특정 데이터셋만 모델에 전달하여 할루시네이션을 줄이고 분석 품질을 높일 수 있다.

SEC, FRED, BLS, 내부자 거래, 국회 거래 내역 등 10개 이상의 파편화된 공공 데이터 소스를 ETL 프로세스를 통해 하나의 통합 데이터베이스로 집계했다.

시스템 아키텍처 설계 시 의도 파악 및 데이터 검색에는 저지연 모델인 Claude Haiku를 배치하고, 최종적인 데이터 분석 및 결과 출력에는 고성능 모델인 Sonnet을 사용하는 이중 구조를 채택했다.

88개의 필터를 제공하는 스크리닝 도구를 구축하여 사용자가 선택한 특정 데이터셋만 모델에 주입함으로써 컨텍스트 윈도우 효율성을 극대화하고 분석의 정밀도를 높였다.

AI가 생성한 모든 답변을 데이터베이스에 저장하여 향후 추가적인 인사이트 도출이나 과거 예측의 유효성을 검증하는 백테스팅 데이터로 활용할 수 있는 기반을 마련했다.

검색 증강 생성(RAG): — 외부 데이터베이스에서 관련 정보를 검색하여 모델의 입력으로 제공하는 기술이다. 금융 데이터처럼 실시간성이 중요한 분야에서 모델의 지식 한계를 보완하고 답변의 정확도를 높이는 데 필수적이다.
추출, 변환, 적재(ETL): — 여러 소스의 데이터를 수집하여 분석 가능한 형태로 가공하고 저장하는 데이터 통합 프로세스이다. 이 프로젝트에서는 SEC, FRED 등 서로 다른 형식의 금융 데이터를 하나의 데이터베이스로 통합하는 핵심 기반 기술로 사용됐다.
백테스팅(Backtesting): — 과거 데이터를 활용해 특정 투자 전략이나 AI의 예측 모델이 얼마나 정확했는지 검증하는 기법이다. 모델이 도출한 인사이트의 신뢰성을 확보하고 실제 투자 위험을 관리하는 데 중요한 역할을 한다.

Sonnet추천

최종 분석 결과 출력 및 인사이트 도출

Haiku추천

사용자 의도 파악 및 데이터 페칭(Fetching)