난이도 기반 게이팅
요청의 난이도를 판별해 고난도 요청에만 고비용·고성능 경로(예: 다중 모델 fan-out과 arbiter)를 적용하고 저난도 요청은 저비용 모델로 처리하도록 분기하는 전략이다. 입력의 특성(코드, 도구 사용, 길이, 의도 등)을 기준으로 분기 규칙을 적용해 전체 워크로드에서 고비용 경로의 비중을 낮추면 평균 청구액을 단일 모델 수준에 가깝게 유지할 수 있다. 이 방식은 추론 비용을 합리적으로 통제하면서 품질이 필요한 요청에만 리소스를 집중하는 운영 효용을 제공한다.
