RelayPlane: Anthropic API 비용을 73% 절감하는 오픈소스 복잡도 기반 라우팅 프록시

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

프롬프트 복잡도에 따라 Claude 모델을 자동 라우팅하여 비용을 73.4% 절감하고 지연 시간을 절반으로 줄이는 오픈소스 프록시 RelayPlane이 공개됐다.

배경

Anthropic API 사용 시 모든 요청에 고성능 모델을 사용하는 비효율을 해결하기 위해, 프롬프트 복잡도를 분석하여 적절한 모델로 배분하는 npm 기반 프록시 RelayPlane을 개발하고 벤치마크 결과를 공유했다.

의미 / 영향

이 프로젝트는 LLM API 운영에서 모델 라우팅이 비용과 성능 최적화의 핵심임을 입증했다. 오픈소스 프록시 형태의 접근 방식은 기업들이 상용 솔루션 없이도 자체적인 비용 통제 메커니즘을 구축할 수 있는 실무적 대안을 제시한다.

커뮤니티 반응

작성자가 직접 개발한 도구의 성능 지표와 설정 방법을 공유하여 긍정적인 반응을 얻었으며, 특히 비용 절감 수치에 대한 관심이 높다.

합의점 vs 논쟁점

합의점

모든 요청에 고성능 모델을 사용하는 것은 비용 면에서 비효율적이다.
복잡도 기반 라우팅은 비용과 성능 사이의 균형을 맞추는 효과적인 방법이다.

실용적 조언

Anthropic API 비용이 부담된다면 RelayPlane과 같은 프록시를 도입하여 단순 작업은 Haiku로 처리하도록 설정한다.
응답 헤더의 x-relayplane-routed-model을 모니터링하여 분류기가 의도대로 작동하는지 주기적으로 점검한다.

섹션별 상세

프롬프트의 복잡도에 따라 Haiku, Sonnet, Opus 모델로 요청을 자동 분기한다. 토큰 수, 코드 포함 여부, 분석적 키워드를 식별하는 분류기가 입력 프롬프트를 분석하여 최적의 모델을 선택한다. 60%의 단순 작업과 40%의 복잡한 작업이 섞인 워크로드에서 전체 비용의 73.4%를 절감하는 성과를 냈다. 이는 모든 요청을 Sonnet으로 처리할 때보다 경제적이며 대규모 호출 시 상당한 비용 차이를 만든다.

json

{
  "routing": {
    "complexity": {
      "enabled": true,
      "simple": "claude-haiku-4-5",
      "moderate": "claude-sonnet-4-6",
      "complex": "claude-opus-4-6"
    }
  }
}

RelayPlane에서 복잡도 기반 라우팅을 활성화하고 각 단계별 모델을 지정하는 설정 예시

모델 라우팅을 통해 응답 지연 시간을 대폭 개선했다. 단순 작업이 Haiku로 처리되면서 p50 지연 시간이 기존 1.55초에서 0.78초로 약 50% 감소했다. 사용자는 응답 헤더의 x-relayplane-routed-model 필드를 통해 실제로 어떤 모델이 실행되었는지 실시간으로 확인할 수 있다. 투명한 추적 기능을 통해 라우팅 로직의 정확성을 검증하고 디버깅하는 것이 가능하다.

실무 Takeaway

RelayPlane은 프롬프트 복잡도를 분석하여 Haiku, Sonnet, Opus 중 최적의 모델로 자동 라우팅함으로써 API 비용을 73.4% 절감한다.
단순 프롬프트를 경량 모델로 처리하여 p50 지연 시간을 1.55초에서 0.78초로 단축하는 성능 향상을 확인했다.
npm 기반의 오픈소스 프록시 형태로 제공되어 셀프 호스팅이 가능하며, JSON 설정만으로 복잡도 기반 라우팅을 즉시 활성화할 수 있다.

언급된 도구

RelayPlane추천

Anthropic API용 복잡도 기반 라우팅 프록시

Claude Code추천

개발 속도 향상을 위한 코딩 에이전트

언급된 리소스

문서RelayPlane Benchmark Writeup