AI 에이전트 비용 절감을 위한 오픈소스 LLM 라우터 Manifest

커뮤니티 반응

오픈소스 프로젝트로서 비용 제어와 안정성 확보라는 실질적인 문제 해결책을 제시하여 긍정적인 반응을 얻고 있다.

AI 에이전트 사용 시 API 비용이 예측 불가능하고 높다는 문제를 해결하기 위해 기존 구독 서비스를 에이전트와 연결하는 방식을 제안했다. Manifest를 통해 Claude Code와 같은 에이전트의 요청을 중앙에서 관리하고 비용을 제어한다.

라우팅 기능을 통해 요청을 모델별로 분산 처리한다. 단순한 요청은 경량 모델로 처리하고, 복잡한 작업은 강력한 모델을 사용하도록 설정하여 비용을 최적화한다.

폴백(Fallback) 설정을 통해 모델 오류나 속도 제한 발생 시 자동으로 다른 모델로 전환한다. 최대 5개의 폴백 모델을 체인으로 연결하여 에이전트 세션이 중단되지 않도록 방지한다.

사용량 가시성을 제공하여 각 제공자별 비용과 티어별 소비량을 실시간으로 확인한다. 이를 통해 예산 범위 내에서 API 사용을 관리하고 비용 초과를 방지한다.

Manifest추천

오픈소스 LLM 라우터

Claude Code중립

코딩 에이전트

ChatGPT Plus중립

구독 서비스