본문으로 건너뛰기

model-encoder

모델 인코더

후보 LLM 각각을 라우터가 비교할 수 있는 표현으로 변환하는 구성 요소입니다. 모델 크기·가격 같은 정적 메타데이터, 과거 성능 프로필, 학습된 embedding, prompt에 삽입하는 모델 이름과 설명을 사용할 수 있습니다. 컨텍스트 표현과의 호환도를 계산하면 후보별 routing score가 만들어집니다.