본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
탐색
보관함
로그인
홈
트렌딩
커뮤니티
보관함
프로필
관련 기사 바로가기
TensorSharp에 DSpark 적용한 A40 벤치마크
TensorSharp는 네이티브 .NET 기반의 로컬 GGUF LLM 추론 엔진이다. 프로젝트는 CUDA, Vulkan, Metal 및 OpenAI 호환 API를
TensorSharp: GGUF 모델을 위한 고성능 C# 추론 엔진
TensorSharp에서 GGML 기반 Vulkan 백엔드 초기 버전 공개와 llama.cpp 대비 벤치마크 결과가 공유되었다. 이 공개는 TensorSharp가 GGUF 모델 지원과 여러 GPU 백엔드(CUDA, Metal, Vulkan)를 목표로 한다는 점을 명확히 드러냈다. 작성자는 Nvidia와 Intel GPU에서의 동작과 성능표를 제공하며 AMD 테스트 참여를 요청했다.
TensorSharp: GGUF 모델용 네이티브 .NET LLM 추론 엔진과 llama.cpp 직접 벤치마크
C# 추론 엔진 TensorSharp 업데이트: MLX 지원 및 vLLM 스타일 최적화
← 피드로 돌아가기
TensorSharp
Inference Engines (추론 엔진)
약 8개 아티클
관련 태그:
llama.cpp
GGML
Gemma 4
Gemma 4 26B-A4B
ggml_cuda
Megatron-style tensor parallelism
MLX
DeepSeek-V4-Flash-0731
vLLM
DSpark
