YohadH/thrift-memory: 에이전트 팀의 메모리 토큰을 선별적으로 관리하는 도구

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

여러 에이전트 운영 시 매 회차 전체 메모리를 불러오면 불필요한 토큰 낭비가 누적되므로 Thrift는 agentId와 tokenBudget, task를 입력받아 예산 내에서 관련 메모리만 반환하는 방식으로 접근한다. 반환 시 전체 로드 기준 토큰과 실제 사용 토큰을 측정한 영수증을 제공하고, base_url 교체로 별도 코드 변경 없이 프록시로 동작할 수 있으며 로컬 대시보드로 실시간 절감 현황을 확인할 수 있다. 작성자는 자신의 24에이전트 환경에서 메모리 관련 토큰을 약 87% 절감했다고 보고했으며 Apache-2.0으로 공개되어 검증과 피드백을 기다리고 있다.

실용적 조언

에이전트가 매회 전체 프롬프트를 재전송하는 구조라면 base_url을 프록시 주소로 교체해 Thrift를 중개자로 두는 방식으로 코드 변경 없이 토큰 절감을 적용할 수 있다.
메모리 복원에 토큰 예산을 명시하면 반환되는 항목을 자동으로 제한할 수 있으므로 recall 호출 시 적절한 tokenBudget 값을 실험해 최적 절감-정확도 균형을 찾아야 한다.
로컬 대시보드(npx thrift-panel serve)를 사용해 baseline 대비 실제 절감량을 실시간으로 모니터링하면 운영 중 예산 설정의 효과를 계량적으로 평가할 수 있다.

섹션별 상세

여러 에이전트를 운영할 때 매 회차마다 전체 메모리/컨텍스트 파일을 다시 불러오면 대부분이 현재 작업과 무관한 항목으로 토큰 낭비가 발생한다. 원문 작성자는 자신의 24에이전트 구성에서 이 문제가 누적된다고 지적했고, 반복 로드로 인해 비용과 전송량이 빠르게 증가한다고 기술했다. 이 문제의 입력은 전체 메모리 파일과 현재 태스크이고 처리는 불필요 항목이 제거되지 않은 단순 로드이며 출력은 과다한 토큰 사용으로 이어지는 프롬프트이다. 따라서 에이전트 워크플로에서는 메모리 복원 단계에서 관련도 기반 필터링과 예산 제한이 필요하다는 결론이 도출된다.

Thrift는 recall(agentId, tokenBudget, task)라는 인터페이스로 동작해 에이전트 식별자와 토큰 예산, 현재 작업을 받아 예산 한도 내에서 관련된 메모리만 반환한다는 설계 원리를 채택했다. 이 구현은 반환 결과와 함께 전체를 불러왔을 때의 기준 토큰 수치(baseline tokens)와 실제 사용 토큰을 측정한 영수증을 함께 제공해 절감량을 계측하게 설계되었다. 또한 배포 측면에서는 에이전트가 매회 프롬프트를 재전송할 때 base_url을 교체하는 방식으로 코드 변경 없이 프록시로 동작하게 할 수 있고, 로컬에서 npx thrift-panel serve를 실행하면 데이터베이스 없이 실시간 절감 현황을 확인할 수 있다. 원문에서 제시된 근거로 작성자의 운영 환경에서는 메모리 관련 토큰이 약 87% 절감되었다고 보고되어 이 접근이 실무 비용 절감으로 연결되었음이 확인되었다.

text

recall(agentId, tokenBudget, task)

에이전트 식별자와 토큰 예산, 작업 설명을 입력으로 받아 예산 한도 내에서 관련 메모리만 반환하는 핵심 API 호출 예시이다.

bash

npx thrift-panel serve

로컬 대시보드를 기동해 실시간 절감량과 사용 현황을 모니터링하는 실행 예시이다.

text

swap `base_url`, no code change

에이전트가 요청을 전송하는 대상 URL을 프록시 주소로 교체하면 에이전트 코드 수정을 최소화한 채 Thrift를 중개자로 배치하는 배포 방법을 요약한 명령형 표현이다.

배포와 오픈소스 관점에서 Thrift는 Apache-2.0 라이선스로 공개되며 npm 패키지와 GitHub 저장소 링크가 함께 제공되어 즉시 설치와 검증이 가능한 형태로 배포되었다. 배포 방식은 프록시 교체와 로컬 대시보드 기동이라는 단순한 절차로 설계되어 기존 에이전트 코드에 대한 침투 최소화를 목표로 하며, 이로 인해 도입 비용 부담이 낮아진다. 원문 작성자는 금전적 목적이 없고 피드백을 원한다고 명시했기 때문에 커뮤니티의 테스트와 사례 공유를 통해 추가 검증과 개선이 이어질 가능성이 있다.

용어 해설

토큰 예산(Token Budget): — 토큰 예산은 단일 요청이나 회차에서 허용되는 모델 입력 토큰의 상한을 의미한다. 이 예산은 메모리에서 복원할 콘텐츠 양을 제한하는 기준으로 사용되며, 관련도가 낮은 항목을 배제하여 모델 호출 비용과 응답 길이를 제어한다. 여러 에이전트가 공유 메모리를 사용할 때 일관된 예산 설정은 비용과 지연을 동시에 관리하는 수단이 된다.
메모리 호출(Memory Recall): — 메모리 호출은 저장된 과거 발화나 상태를 검색해 현재 에이전트의 입력으로 재구성하는 과정이다. 이 과정에서는 질의(예: task)로부터 관련도를 산정하고, 토큰 예산 한도 내에서 우선순위가 높은 항목을 선택해 반환하는 필터링 단계가 포함된다. 적절한 호출 설계는 불필요한 토큰 사용을 줄이고 응답 정확도에 영향을 미친다.
프롬프트 프록시(Prompt Proxy): — 프롬프트 프록시는 에이전트가 매회 전체 프롬프트를 재전송할 때 중간에 요청을 가로채어 프롬프트를 변환하거나 일부만 전달하는 역할을 한다. 이 방식은 에이전트 코드 변경 없이 base_url 같은 엔드포인트를 교체하는 것만으로 적용 가능하며, 전체 프롬프트 재전송으로 인한 토큰 낭비를 줄인다. 프록시는 별도의 데이터베이스 없이도 동작하도록 설계될 수 있다.

언급된 도구

thrift-memory중립링크

에이전트 메모리에서 토큰 예산에 맞춰 관련 메모리만 선별 반환하는 MCP 구현체

언급된 리소스

GitHubthrift-memory GitHub

문서thrift-memory on npm