exllamav3

로컬 환경에서 대규모 언어 모델(LLM)을 효율적으로 실행하기 위해 설계된 추론 엔진으로, GPU 메모리 사용량을 극소화하면서도 높은 추론 속도를 유지하는 데 특화되어 있다.