TensorSharp에서 GGML 기반 Vulkan 백엔드 초기 버전 공개와 llama.cpp 대비 벤치마크 결과가 공유되었다. 이 공개는 TensorSharp가 GGUF 모델 지원과 여러 GPU 백엔드(CUDA, Metal, Vulkan)를 목표로 한다는 점을 명확히 드러냈다. 작성자는 Nvidia와 Intel GPU에서의 동작과 성능표를 제공하며 AMD 테스트 참여를 요청했다.

작성자는 성능 표와 구현 세부를 직접 제시했고 게시물은 직접적인 피드백 요청으로 끝났다. 커뮤니티에서는 다양한 하드웨어에서의 재현성 검증과 AMD 지원 여부에 대한 관심이 예상되며 작성자가 제공한 수치 기반 비교는 토론의 출발점이 되었다. 게시물 자체는 벤치마크 수치와 구현 노트가 함께 있어 기술적 토론을 유도하는 성격을 띠었다.

• 동일한 하드웨어와 드라이버 환경에서 decode·prefill·TTFT 세 가지 지표를 모두 측정해야 엔진 간 성능 차이를 공정하게 비교할 수 있다.
• Vulkan 백엔드처럼 하드웨어·드라이버 의존도가 큰 경로는 여러 GPU 벤더(특히 AMD)를 포함한 테스트가 선행되어야 운영 환경에서의 안정성이 확보된다.
• TensorSharp의 경우 paged KV cache와 continuous batching 같은 최적화가 적용됐으므로 긴 대화나 대량 동시 요청 워크로드에서는 prefill 처리량과 배치 전략을 우선 점검해야 한다.

GGUF

— GGUF는 로컬 LLM 생태계에서 모델과 메타데이터를 저장하는 바이너리 포맷으로 사용된다. 이 포맷은 모델 가중치, 토크나이저 정보, 퀀타이즈 메타데이터를 함께 보관하여 추론 엔진이 일관되게 로드할 수 있게 한다. TensorSharp 문맥에서는 여러 모델을 동일한 인터페이스로 실행하기 위해 GGUF 호환성을 제공하는 것이 핵심이다.

GGML

— GGML은 경량화된 행렬 연산과 퀀타이즈된 모델 실행을 지원하는 오픈소스 C/C++ 라이브러리이다. 로컬 추론 엔진들이 메모리 친화적 연산과 다양한 양자화 포맷을 처리하도록 단순한 API를 제공하며, TensorSharp는 GGML을 외부 프로젝트로 참조하여 Vulkan 기반 백엔드 구현을 재활용했다. 이 접근은 플랫폼 간 호환성과 특정 하드웨어 최적화를 빠르게 확보하는 수단으로 활용됐다.

Vulkan backend

— Vulkan 백엔드는 GPU의 범용 연산을 그래픽스 API 기반으로 호출하여 CUDA나 Metal이 없는 환경에서 가속을 제공하는 실행 경로이다. 이 방식은 드라이버와 하드웨어에 의존해 성능이 크게 달라지며, TensorSharp는 초기 GGML 기반 Vulkan 구현을 통해 Windows 환경의 Nvidia와 Intel GPU에서 동작을 확인했다. Vulkan은 크로스플랫폼 GPU 가속을 목표로 하지만 하드웨어별 테스트가 필수적이다.