주요 기능

• Docker Compose를 활용하여 FastAPI, OpenSearch, Airflow 기반의 프로덕션 인프라를 자동 배포한다.
• arXiv API와 Docling을 연동하여 학술 논문을 자동으로 수집하고 파싱하는 데이터 파이프라인을 구현한다.
• BM25 키워드 검색과 임베딩 기반 의미론적 검색을 결합하여 검색 정확도를 높이는 하이브리드 검색 엔진을 구축한다.
• Langfuse를 이용한 RAG 파이프라인 추적 및 Redis 캐싱을 적용하여 시스템 성능과 관측 가능성을 확보한다.
• LangGraph를 활용한 에이전트 워크플로를 설계하고 Telegram 봇을 통해 모바일 환경에서 AI와 상호작용한다.

어떻게 동작하는가

FastAPI와 OpenSearch를 중심으로 데이터 수집부터 검색, LLM 추론, 에이전트 오케스트레이션까지의 전체 RAG 파이프라인을 Docker 환경에서 모듈화하여 구축한다.