본문으로 건너뛰기

Inference Backend

추론 백엔드

LLM 모델을 실제로 로드하고 실행하여 텍스트 생성 등의 작업을 수행하는 엔진이나 서버 소프트웨어를 의미한다.