LangGraph와 Qdrant를 활용한 개인화 AI 뉴스 큐레이션 에이전트 구축 사례

실용적 조언

LLM API 비용이 부담된다면 모든 입력값에 LLM을 적용하지 말고, 벡터 검색으로 상위 K개의 결과만 추출하여 모델에 전달하라.
정기적인 데이터 수집 작업에는 Redis와 Taskiq 같은 비동기 작업 큐를 활용하여 시스템 안정성을 확보하라.

섹션별 상세

정보 노이즈를 제거하기 위해 개인화된 2단계 검증 파이프라인을 구축했다. HuggingFace, arXiv, Reddit 등 다양한 플랫폼에서 데이터를 스크래핑하여 텍스트와 임베딩 형태로 저장한 뒤, 1차로 임베딩 유사도 검색을 수행하고 2차로 LLM이 최종 적합성을 판단하는 구조이다. 이러한 방식은 모든 데이터에 LLM을 실행하는 비용 문제를 해결하면서도 추천의 정확도를 확보하는 핵심 전략으로 작용했다.

시스템의 워크플로 관리를 위해 LangGraph를 도입하여 에이전트의 동작을 오케스트레이션했다. 수집된 데이터는 Qdrant 벡터 데이터베이스에 저장되며, FastAPI 백엔드와 Next.js 프론트엔드를 통해 사용자에게 전달된다. Redis와 Taskiq를 조합하여 정기적인 스크래핑 및 뉴스레터 발송 스케줄링을 자동화함으로써 운영 효율성을 높였다.

추천 알고리즘의 고도화를 위해 하이브리드 접근 방식을 채택했다. 현재는 임베딩 유사도와 LLM 판단에 의존하고 있으나, 향후 웹 검색 연동 및 협업 필터링과 같은 고전적 추천 기법을 추가할 계획이다. 이는 에이전트 기반 AI와 전통적인 추천 시스템의 경계에서 최적의 성능을 내기 위한 시도로 평가된다.

용어 해설

하이브리드 추천(Hybrid Recommendation): — 임베딩 유사도 기반의 협업 필터링과 LLM의 추론 능력을 결합하여 사용자에게 최적의 정보를 제공하는 방식이다. 단순 검색의 한계를 보완하고 개인화된 맥락을 반영하여 추천의 정확도를 높이는 역할을 한다.
벡터 데이터베이스(Vector Database): — 데이터를 고차원 벡터 형태로 저장하고 유사도 검색을 수행하는 특수 데이터베이스이다. 비정형 텍스트를 임베딩으로 변환해 저장함으로써 대규모 데이터셋에서 의미적으로 유사한 정보를 빠르게 찾는 데 필수적이다.
판단자로서의 LLM(LLM as a Judge): — 대규모 언어 모델을 사용하여 특정 데이터나 추천 결과의 적절성을 평가하고 최종 결정을 내리는 기법이다. 사람이 직접 검토하기 어려운 방대한 양의 정보를 모델이 논리적으로 분석하여 필터링 효율을 극대화한다.

언급된 도구

LangGraph추천

에이전트 워크플로 오케스트레이션

Qdrant추천

벡터 데이터베이스 및 유사도 검색

FastAPI추천

백엔드 API 서버 구축