본문으로 건너뛰기

self-hosted-inference

셀프호스팅 추론

사내 GPU에 오픈 웨이트 모델을 배포해 고비용 API 호출을 대체하는 운영 방식으로, 토큰 단가 및 데이터 주권 두 축에서 이익을 만든다.