Factory Router: LLM 자동 라우팅을 통한 비용 최적화 및 성능 유지

섹션별 상세

기존 코딩 에이전트 환경에서는 단순 작업과 복잡한 작업 구분 없이 최고 성능 모델을 사용하여 비용이 비효율적으로 발생했다.

Factory Router는 사용자 메시지, 최근 도구 호출, 저장소 크기, 언어 혼합, 난이도를 분석하여 각 작업에 필요한 품질 점수를 산출한다.

산출된 점수를 바탕으로 Kimi, MiniMax, Claude Opus 등 다양한 모델 중 비용 효율적인 최적의 모델을 자동으로 선택한다.

기업용 벤치마크 결과, Claude Opus 4.7 대비 성능은 유지하면서 세션당 비용을 최대 25% 절감하는 효과를 확인했다.

특정 공급업체 장애 시 다른 모델이나 공급업체로 즉시 전환하는 페일오버 기능을 통해 99.9% 이상의 요청 신뢰성을 보장한다.

관리자는 조직의 보안 및 컴플라이언스 정책에 맞춰 특정 작업은 고성능 모델로, 단순 작업은 저비용 모델로 라우팅하도록 규칙을 설정할 수 있다.