dotLLM: C#/.NET 10으로 구현한 고성능 오픈소스 LLM 추론 엔진

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

dotLLM은 .NET 10 환경에서 동작하도록 C#으로 직접 구현된 오픈소스 LLM 추론 엔진입니다. 파이썬 래퍼나 외부 런타임 없이 SIMD 최적화된 CPU 백엔드와 CUDA GPU 백엔드를 통해 트랜스포머 기반 모델을 실행합니다. Paged KV-Cache, 투기적 디코딩, 양자화 커널 등 현대적인 추론 엔진의 핵심 기능을 모두 포함하고 있습니다. 특히 Native AOT 지원을 통해 시작 시간을 50ms 수준으로 단축하며, OpenAI 호환 API 서버와 브라우저 채팅 UI를 기본 제공하여 즉각적인 배포가 가능합니다.

배경

.NET 10 SDK, C# 프로그래밍 지식, CUDA 지원 GPU (GPU 가속 사용 시), GGUF 모델 파일 형식에 대한 이해

대상 독자

.NET 기반으로 고성능 AI 서비스를 구축하려는 백엔드 개발자 및 시스템 아키텍트

의미 / 영향

이 프로젝트는 파이썬 중심의 AI 생태계에서 .NET 환경의 가능성을 증명하며, 엔터프라이즈 환경에서 익숙한 C# 도구들을 사용해 LLM 인프라를 직접 구축할 수 있는 길을 열어줍니다. 특히 Native AOT와 제로 할당 설계를 통해 고성능 저지연 추론이 필요한 실시간 서비스에 강력한 대안이 될 것입니다.

섹션별 상세

기존의 많은 엔진이 파이썬이나 C++ 라이브러리를 래핑하는 것과 달리 dotLLM은 C#으로 모든 추론 경로를 직접 구현했습니다. 토크나이저, 샘플러, 스케줄러, 커널까지 모두 .NET 10 기반으로 작성되어 별도의 외부 런타임 설치 없이 실행 가능합니다. 이를 통해 .NET 개발자는 익숙한 디버거와 프로파일러를 사용하여 추론 파이프라인 전체를 제어할 수 있습니다. 시스템의 복잡도를 낮추면서도 네이티브 수준의 성능을 목표로 설계되었습니다.

성능 최적화를 위해 CPU에서는 AVX2/AVX-512 SIMD 명령어를 활용하고 GPU에서는 CUDA 백엔드를 사용합니다. 모든 텐서 데이터는 가비지 컬렉션의 영향을 받지 않도록 NativeMemory.AlignedAlloc을 통해 할당되어 메모리 관리 효율을 극대화했습니다. 실제 테스트에서 Native AOT를 적용할 경우 JIT 컴파일 시간을 건너뛰어 시작 시간이 약 500ms에서 50ms로 단축되는 성과를 보였습니다. 이는 서버리스 환경이나 빠른 응답이 필요한 엣지 컴퓨팅에 매우 유리합니다.

csharp

using var gguf = GgufFile.Open("llama-3.2-1b.Q4_K_M.gguf");
var config = GgufModelConfigExtractor.Extract(gguf.Metadata);
using var model = TransformerModel.LoadFromGguf(gguf, config);
var tokenizer = GgufBpeTokenizerFactory.Load(gguf.Metadata);
var generator = new TextGenerator(model, tokenizer);
await foreach (var text in generator.GenerateStreamingAsync(
    "Explain dotLLM.", new InferenceOptions { MaxTokens = 128 }))
{
    Console.Write(text);
}

.NET 콘솔 애플리케이션에서 GGUF 모델을 로드하고 텍스트를 스트리밍 생성하는 기본 예시

csharp

var state = ServerStartup.LoadModel(modelPath, new ServerOptions {
    Model = modelPath, Device = "cpu", ModelId = "SmolLM-135M",
});
builder.Services.AddDotLLM(state);
var app = builder.Build();
app.MapDotLLMEndpoints(serveUi: false);
app.Run("http://localhost:5050");

기존 ASP.NET Core 애플리케이션에 dotLLM의 OpenAI 호환 엔드포인트를 통합하는 방법

근거

Native AOT 적용 시 시작 시간이 약 500ms에서 50ms로 단축된다. — Native AOT experimental 섹션의 Startup drops from ~500 ms JIT to around 50 ms 문구

Paged KV-Cache와 투기적 디코딩 등 최신 LLM 최적화 기법을 탑재하여 긴 문맥 처리와 생성 속도를 개선했습니다. KV 캐시는 블록 단위로 할당되어 메모리 파편화를 방지하며, Q8_0/Q4_0 양자화를 지원하여 유효 문맥 길이를 2~4배 확장합니다. 투기적 디코딩은 작은 초안 모델이 제안한 토큰을 대상 모델이 한 번에 검증하여 전체 추론 횟수를 줄이는 방식으로 동작합니다. 이러한 기법들은 대규모 모델을 제한된 자원에서 효율적으로 구동할 수 있게 합니다.

근거

KV 캐시 양자화를 통해 유효 컨텍스트를 2~4배 확장할 수 있다. — Paged KV-Cache 섹션의 extends effective context 2–4× 문구

OpenAI 호환 API와 구조화된 출력 기능을 제공하여 기존 도구들과의 호환성을 확보했습니다. FSM/PDA 기반의 로짓 마스킹을 적용하여 JSON Schema나 정규표현식에 맞는 출력을 보장하며, 별도의 재시도나 후처리가 필요 없습니다. 내장된 브라우저 채팅 UI를 통해 모델 로드 후 즉시 대화가 가능하며, 스트리밍 응답과 병렬 함수 호출 기능도 지원합니다. 개발자는 NuGet 패키지 형태로 자신의 앱에 엔진을 직접 포함하거나 독립 실행형 서버로 운영할 수 있습니다.

dotLLM 채팅 UI에서 토큰별 신뢰도를 색상으로 시각화한 화면 — ScreenshotOpenAI 호환 logprobs 데이터를 활용하여 생성된 각 토큰의 확신도를 시각적으로 보여줍니다. 녹색은 높은 신뢰도, 붉은색은 낮은 신뢰도를 나타내어 모델이 어떤 부분에서 추측을 했는지 직관적으로 파악할 수 있게 돕습니다.

용어 해설

Paged KV-Cache: — LLM 추론 시 이전 토큰들의 키-값 쌍을 메모리에 저장할 때, 고정된 크기의 블록 단위로 관리하는 기법입니다. 메모리 파편화를 방지하고 긴 컨텍스트를 효율적으로 처리하여 추론 성능을 높이는 데 필수적입니다.
Speculative Decoding: — 작고 빠른 초안 모델이 토큰을 먼저 생성하고, 큰 대상 모델이 이를 한 번에 검증하는 방식입니다. 대상 모델의 연산 횟수를 줄여 결과물의 품질은 유지하면서 생성 속도를 획기적으로 높입니다.
SIMD: — 하나의 명령어로 여러 개의 데이터를 동시에 처리하는 하드웨어 가속 기술입니다. CPU의 AVX2나 AVX-512 명령어를 활용해 행렬 연산 등 대규모 수치 계산을 병렬화하여 수행 속도를 높입니다.
GGUF: — LLM 모델 가중치를 저장하기 위한 바이너리 파일 형식으로, 단일 파일에 메타데이터와 텐서 데이터를 모두 포함합니다. mmap을 통한 빠른 로딩과 다양한 양자화 형식을 지원하여 로컬 추론 환경에서 널리 쓰입니다.
Native AOT: — .NET 코드를 실행 시점이 아닌 빌드 시점에 기계어로 직접 컴파일하는 기술입니다. 런타임 의존성을 줄이고 시작 시간을 단축하며, 메모리 사용량을 최적화하여 고성능 애플리케이션 배포에 유리합니다.

언급된 리소스

GitHubdotLLM GitHub Repository

dotLLM: C#/.NET 10으로 구현한 고성능 오픈소스 LLM 추론 엔진

TL;DR

배경

대상 독자

의미 / 영향

섹션별 상세

용어 해설

언급된 리소스

관련 토론

댓글

관련 기사

TensorSharp: GGUF 모델 지원 .NET 네이티브 LLM 추론 엔진 공개

.NET 네이티브 LLM 인퍼런스 엔진용 GGUF 모델 지원

TensorSharp: GGUF 모델용 네이티브 .NET LLM 추론 엔진과 llama.cpp 직접 벤치마크

Cachet: 로컬에서 동작하는 LLM API 캐시로 비용과 지연을 줄인다