RelayPlane: Anthropic API 비용을 73% 절감하는 오픈소스 복잡도 기반 라우팅 프록시

커뮤니티 반응

작성자가 직접 개발한 도구의 성능 지표와 설정 방법을 공유하여 긍정적인 반응을 얻었으며, 특히 비용 절감 수치에 대한 관심이 높다.

합의점 vs 논쟁점

합의점

모든 요청에 고성능 모델을 사용하는 것은 비용 면에서 비효율적이다.
복잡도 기반 라우팅은 비용과 성능 사이의 균형을 맞추는 효과적인 방법이다.

실용적 조언

Anthropic API 비용이 부담된다면 RelayPlane과 같은 프록시를 도입하여 단순 작업은 Haiku로 처리하도록 설정한다.
응답 헤더의 x-relayplane-routed-model을 모니터링하여 분류기가 의도대로 작동하는지 주기적으로 점검한다.

섹션별 상세

프롬프트의 복잡도에 따라 Haiku, Sonnet, Opus 모델로 요청을 자동 분기한다. 토큰 수, 코드 포함 여부, 분석적 키워드를 식별하는 분류기가 입력 프롬프트를 분석하여 최적의 모델을 선택한다. 60%의 단순 작업과 40%의 복잡한 작업이 섞인 워크로드에서 전체 비용의 73.4%를 절감하는 성과를 냈다. 이는 모든 요청을 Sonnet으로 처리할 때보다 경제적이며 대규모 호출 시 상당한 비용 차이를 만든다.

json

{
  "routing": {
    "complexity": {
      "enabled": true,
      "simple": "claude-haiku-4-5",
      "moderate": "claude-sonnet-4-6",
      "complex": "claude-opus-4-6"
    }
  }
}

RelayPlane에서 복잡도 기반 라우팅을 활성화하고 각 단계별 모델을 지정하는 설정 예시

모델 라우팅을 통해 응답 지연 시간을 대폭 개선했다. 단순 작업이 Haiku로 처리되면서 p50 지연 시간이 기존 1.55초에서 0.78초로 약 50% 감소했다. 사용자는 응답 헤더의 x-relayplane-routed-model 필드를 통해 실제로 어떤 모델이 실행되었는지 실시간으로 확인할 수 있다. 투명한 추적 기능을 통해 라우팅 로직의 정확성을 검증하고 디버깅하는 것이 가능하다.

용어 해설

복잡도 기반 라우팅(Complexity-based Routing): — 입력 프롬프트의 난이도나 요구 사항을 분석하여 가장 적합한 성능과 비용을 가진 모델로 요청을 전달하는 기술이다. 토큰 수, 코드 포함 여부, 분석적 키워드 등을 기준으로 모델을 선택하여 비용 효율성을 극대화한다.
p50 지연 시간(p50 Latency): — 전체 요청 중 50%가 완료되는 데 걸리는 시간을 의미하며, 일반적인 사용자 경험의 중앙값을 나타내는 지표이다. 이 수치가 낮을수록 시스템의 전반적인 응답 속도가 빠르다는 것을 의미한다.
npm 기반 프록시(npm-native Proxy): — Node.js 패키지 매니저인 npm을 통해 설치 및 실행이 가능한 중계 서버이다. API 호출 측과 수신 측 사이에서 요청을 가로채어 로직을 수행하거나 데이터를 변환하는 역할을 한다.

언급된 도구

RelayPlane추천

Anthropic API용 복잡도 기반 라우팅 프록시

Claude Code추천

개발 속도 향상을 위한 코딩 에이전트

언급된 리소스

문서RelayPlane Benchmark Writeup