44M 파라미터 DeBERTa 기반 라우터로 실시간 LLM 요청 분류 및 비용 최적화
텍스트 분류 및 모델 라우팅44M512K 컨텍스트mit
DeBERTa-v3-Small을 기반으로 입력 쿼리를 분석하여 최적의 모델 경로를 결정하는 44M 규모의 경량 라우터 모델이다.
핵심 역량
- 입력 쿼리 의도 분류
- 모델 간 요청 라우팅
- 실시간 텍스트 특징 추출
강점
- DeBERTa-v3-Small 기반의 효율적인 텍스트 특징 추출
- ONNX 포맷 지원을 통한 범용적 추론 환경 대응
- 44M 규모의 파라미터로 극도로 낮은 추론 오버헤드 구현
훈련 방식
Microsoft DeBERTa-v3-Small 기반, tiny-router-data 데이터셋을 활용한 지도 학습 및 ONNX 최적화
알아두면 좋은 것
- tiny-router-data 전용 데이터셋 기반 학습
- ONNX 런타임 최적화 지원
- MIT 라이선스 적용으로 자유로운 상업적 활용 가능
- 한국어 지원 여부 미확인 (영어 중심 데이터셋 추정)
40
Likes
0
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.