Hindsight와 cascadeflow로 구현한 세션 간 기억이 있는 파이썬 지원 에이전트

작성자는 매번 처음부터 문제를 설명해야 하는 지원 챗봇의 한계를 해결하기 위해 Python CLI 에이전트를 만들었고 이 에이전트는 Hindsight의 임베딩 기반 벡터 검색으로 과거 대화를 회수해 시스템 프롬프트에 주입한 뒤 Groq의 LLM을 호출하고 결과를 다시 메모리에 저장하는 순환을 수행한다. cascadeflow는 각 모델 호출의 비용을 기록하고 예산 상한을 적용하며 질의 복잡도에 따라 모델을 분기하는 역할을 맡아 운영 비용 가시성과 통제를 확보했다. 작성자는 사전으로 몇 건의 과거 상호작용을 주입한 실험에서 모호한 질의가 두 달 전 환불 기록을 정확히 회수하는 사례를 보고했으며 이는 벡터 검색 기반 영구 메모리가 사용자 경험의 연속성을 실질적으로 개선함을 보여준다. 통합 과정에서 몇몇 비자명한 문제들이 있었고 작성자는 전체 구현과 코드 스니펫을 포함한 상세 게시물로 재현 정보를 제공했다.