본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

지능형 라우팅 (intelligent-routing) 용어 설명 | AI Trends

intelligent-routing

지능형 라우팅

중급

동일한 프롬프트 접두사를 가진 요청을 해당 데이터가 캐싱된 특정 인스턴스로 전달하는 기술입니다. 캐시 재사용률을 높여 추론 성능을 최적화하고 비용을 절감합니다.

비슷한 개념

smart-routing prompt-routing prompt-caching prefix-caching llm-routing kv-aware-routing api-caching model-routing

← 용어 사전 전체 보기