TensorSharp: GGUF 모델을 위한 고성능 C# 추론 엔진

섹션별 상세

다양한 하드웨어 백엔드 지원: Pure C# CPU, GGML(CPU/Metal/CUDA), Direct CUDA, Apple Silicon용 MLX 등 다양한 환경에서 최적화된 추론을 수행한다.

고성능 추론 최적화: vLLM 스타일의 paged KV 캐시와 연속 배치 처리를 기본으로 적용하여 처리량과 메모리 효율을 극대화한다.

다양한 모델 아키텍처 지원: Gemma 3/4, Qwen 3/3.5/3.6, Mistral 3, Nemotron-H 등 최신 LLM 및 DiffusionGemma와 같은 텍스트 확산 모델을 지원한다.

개발자 친화적 인터페이스: 콘솔 애플리케이션, 웹 기반 챗봇 UI, 그리고 Ollama 및 OpenAI와 호환되는 HTTP API를 제공하여 즉각적인 프로덕션 도입이 가능하다.

멀티모달 및 고급 기능: 이미지, 비디오, 오디오 입력 처리를 지원하며, 도구 호출과 사고 모드 등 최신 LLM 기능들을 구현했다.

용어 해설

GGUF: — GPT-Generated Unified Format의 약자로, LLM을 로컬에서 효율적으로 실행하기 위해 설계된 바이너리 파일 형식입니다. 모델 가중치와 메타데이터를 단일 파일에 저장하여 로딩 속도와 메모리 효율을 높입니다.
Paged KV 캐시(Paged KV Cache): — vLLM에서 도입된 기술로, KV 캐시를 고정 크기 블록으로 나누어 관리합니다. 메모리 단편화를 방지하고 연속 배치 처리 시 메모리 효율을 극대화합니다.
연속 배치 처리(Continuous Batching): — 요청이 들어오는 대로 배치를 동적으로 구성하여 추론을 수행하는 기법입니다. 기존의 정적 배치 방식보다 처리량이 높고 지연 시간이 짧습니다.
추론 엔진(Inference Engine): — 학습된 모델을 실제 환경에서 실행하기 위해 최적화된 런타임입니다. 연산 그래프 최적화, 메모리 관리, 하드웨어 가속 등을 담당합니다.
양자화(Quantization): — 모델의 가중치를 낮은 비트(int4, int8 등)로 변환하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법입니다. GGUF 형식에서 주로 사용됩니다.

코드 예제

bash

./TensorSharp.Cli --model gemma-4-E4B-it-Q8_0.gguf --input prompt.txt --backend ggml_metal

Gemma 4 모델을 사용하여 텍스트 추론을 수행하는 CLI 명령어 예시입니다.

bash

./TensorSharp.Server --model gemma-4-E4B-it-Q8_0.gguf --backend ggml_metal

TensorSharp 서버를 실행하여 Ollama/OpenAI 호환 API를 제공하는 명령어 예시입니다.

근거 모음

근거

Process peak memory footprint reduced by 52% and decode throughput increased by 2.85x on Apple M4 Pro. — Benchmarks section

기술

C#
GGUF
CUDA
MLX
Metal
vLLM
Ollama
OpenAI API

활용 사례

로컬 LLM 챗봇
LLM API 서버 구축
멀티모달 추론
LLM 추론 벤치마킹

언급된 리소스

GitHubTensorSharp GitHub

섹션별 상세

다양한 하드웨어 백엔드 지원: Pure C# CPU, GGML(CPU/Metal/CUDA), Direct CUDA, Apple Silicon용 MLX 등 다양한 환경에서 최적화된 추론을 수행한다.

고성능 추론 최적화: vLLM 스타일의 paged KV 캐시와 연속 배치 처리를 기본으로 적용하여 처리량과 메모리 효율을 극대화한다.

다양한 모델 아키텍처 지원: Gemma 3/4, Qwen 3/3.5/3.6, Mistral 3, Nemotron-H 등 최신 LLM 및 DiffusionGemma와 같은 텍스트 확산 모델을 지원한다.

멀티모달 및 고급 기능: 이미지, 비디오, 오디오 입력 처리를 지원하며, 도구 호출과 사고 모드 등 최신 LLM 기능들을 구현했다.

용어 해설

GGUF: — GPT-Generated Unified Format의 약자로, LLM을 로컬에서 효율적으로 실행하기 위해 설계된 바이너리 파일 형식입니다. 모델 가중치와 메타데이터를 단일 파일에 저장하여 로딩 속도와 메모리 효율을 높입니다.
Paged KV 캐시(Paged KV Cache): — vLLM에서 도입된 기술로, KV 캐시를 고정 크기 블록으로 나누어 관리합니다. 메모리 단편화를 방지하고 연속 배치 처리 시 메모리 효율을 극대화합니다.
연속 배치 처리(Continuous Batching): — 요청이 들어오는 대로 배치를 동적으로 구성하여 추론을 수행하는 기법입니다. 기존의 정적 배치 방식보다 처리량이 높고 지연 시간이 짧습니다.
추론 엔진(Inference Engine): — 학습된 모델을 실제 환경에서 실행하기 위해 최적화된 런타임입니다. 연산 그래프 최적화, 메모리 관리, 하드웨어 가속 등을 담당합니다.
양자화(Quantization): — 모델의 가중치를 낮은 비트(int4, int8 등)로 변환하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법입니다. GGUF 형식에서 주로 사용됩니다.

코드 예제

bash

./TensorSharp.Cli --model gemma-4-E4B-it-Q8_0.gguf --input prompt.txt --backend ggml_metal

Gemma 4 모델을 사용하여 텍스트 추론을 수행하는 CLI 명령어 예시입니다.

bash

./TensorSharp.Server --model gemma-4-E4B-it-Q8_0.gguf --backend ggml_metal

TensorSharp 서버를 실행하여 Ollama/OpenAI 호환 API를 제공하는 명령어 예시입니다.

근거 모음

근거

Process peak memory footprint reduced by 52% and decode throughput increased by 2.85x on Apple M4 Pro. — Benchmarks section

기술

C#
GGUF
CUDA
MLX
Metal
vLLM
Ollama
OpenAI API

활용 사례

로컬 LLM 챗봇
LLM API 서버 구축
멀티모달 추론
LLM 추론 벤치마킹

언급된 리소스

GitHubTensorSharp GitHub

TensorSharp: GGUF 모델을 위한 고성능 C# 추론 엔진

섹션별 상세

용어 해설

코드 예제

근거 모음

기술

활용 사례

언급된 리소스

TensorSharp: GGUF 모델을 위한 고성능 C# 추론 엔진

섹션별 상세

용어 해설

코드 예제

근거 모음

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

TensorSharp는 네이티브 .NET 기반의 로컬 GGUF LLM 추론 엔진이다. 프로젝트는 CUDA, Vulkan, Metal 및 OpenAI 호환 API를

TensorSharp: GGUF 로컬 추론 엔진

.NET 네이티브 LLM 인퍼런스 엔진용 GGUF 모델 지원

TensorSharp에 DSpark 적용한 A40 벤치마크

관련 토론

댓글

관련 기사

TensorSharp는 네이티브 .NET 기반의 로컬 GGUF LLM 추론 엔진이다. 프로젝트는 CUDA, Vulkan, Metal 및 OpenAI 호환 API를

TensorSharp: GGUF 로컬 추론 엔진

.NET 네이티브 LLM 인퍼런스 엔진용 GGUF 모델 지원

TensorSharp에 DSpark 적용한 A40 벤치마크