inference-efficiency
모델이 주어진 입력에 대해 답을 생성하는 과정에서 소비하는 시간과 계산 자원의 효율을 의미한다. 사용자 경험 개선과 운영 비용 절감을 위해 필수적인 요소이다.
비용은 80% 절감 성능은 o1급 MIT가 공개한 AI 협업의 마법