핵심 포인트

• Docker Compose를 활용하여 FastAPI, OpenSearch, Airflow 기반의 프로덕션 인프라를 자동 배포한다.
• arXiv API와 Docling을 연동하여 학술 논문을 자동으로 수집하고 파싱하는 데이터 파이프라인을 구현한다.
• BM25 키워드 검색과 임베딩 기반 의미론적 검색을 결합하여 검색 정확도를 높이는 하이브리드 검색 엔진을 구축한다.
• Langfuse를 이용한 RAG 파이프라인 추적 및 Redis 캐싱을 적용하여 시스템 성능과 관측 가능성을 확보한다.