inference-efficiency

모델이 주어진 입력에 대해 답을 생성하는 과정에서 소비하는 시간과 계산 자원의 효율을 의미한다. 사용자 경험 개선과 운영 비용 절감을 위해 필수적인 요소이다.