dotLLM: C#/.NET 10으로 구현한 고성능 오픈소스 LLM 추론 엔진

섹션별 상세

기존의 많은 엔진이 파이썬이나 C++ 라이브러리를 래핑하는 것과 달리 dotLLM은 C#으로 모든 추론 경로를 직접 구현했습니다. 토크나이저, 샘플러, 스케줄러, 커널까지 모두 .NET 10 기반으로 작성되어 별도의 외부 런타임 설치 없이 실행 가능합니다. 이를 통해 .NET 개발자는 익숙한 디버거와 프로파일러를 사용하여 추론 파이프라인 전체를 제어할 수 있습니다. 시스템의 복잡도를 낮추면서도 네이티브 수준의 성능을 목표로 설계되었습니다.

성능 최적화를 위해 CPU에서는 AVX2/AVX-512 SIMD 명령어를 활용하고 GPU에서는 CUDA 백엔드를 사용합니다. 모든 텐서 데이터는 가비지 컬렉션의 영향을 받지 않도록 NativeMemory.AlignedAlloc을 통해 할당되어 메모리 관리 효율을 극대화했습니다. 실제 테스트에서 Native AOT를 적용할 경우 JIT 컴파일 시간을 건너뛰어 시작 시간이 약 500ms에서 50ms로 단축되는 성과를 보였습니다. 이는 서버리스 환경이나 빠른 응답이 필요한 엣지 컴퓨팅에 매우 유리합니다.

csharp

using var gguf = GgufFile.Open("llama-3.2-1b.Q4_K_M.gguf");
var config = GgufModelConfigExtractor.Extract(gguf.Metadata);
using var model = TransformerModel.LoadFromGguf(gguf, config);
var tokenizer = GgufBpeTokenizerFactory.Load(gguf.Metadata);
var generator = new TextGenerator(model, tokenizer);
await foreach (var text in generator.GenerateStreamingAsync(
    "Explain dotLLM.", new InferenceOptions { MaxTokens = 128 }))
{
    Console.Write(text);
}

.NET 콘솔 애플리케이션에서 GGUF 모델을 로드하고 텍스트를 스트리밍 생성하는 기본 예시

csharp

var state = ServerStartup.LoadModel(modelPath, new ServerOptions {
    Model = modelPath, Device = "cpu", ModelId = "SmolLM-135M",
});
builder.Services.AddDotLLM(state);
var app = builder.Build();
app.MapDotLLMEndpoints(serveUi: false);
app.Run("http://localhost:5050");

기존 ASP.NET Core 애플리케이션에 dotLLM의 OpenAI 호환 엔드포인트를 통합하는 방법

Paged KV-Cache와 투기적 디코딩 등 최신 LLM 최적화 기법을 탑재하여 긴 문맥 처리와 생성 속도를 개선했습니다. KV 캐시는 블록 단위로 할당되어 메모리 파편화를 방지하며, Q8_0/Q4_0 양자화를 지원하여 유효 문맥 길이를 2~4배 확장합니다. 투기적 디코딩은 작은 초안 모델이 제안한 토큰을 대상 모델이 한 번에 검증하여 전체 추론 횟수를 줄이는 방식으로 동작합니다. 이러한 기법들은 대규모 모델을 제한된 자원에서 효율적으로 구동할 수 있게 합니다.

OpenAI 호환 API와 구조화된 출력 기능을 제공하여 기존 도구들과의 호환성을 확보했습니다. FSM/PDA 기반의 로짓 마스킹을 적용하여 JSON Schema나 정규표현식에 맞는 출력을 보장하며, 별도의 재시도나 후처리가 필요 없습니다. 내장된 브라우저 채팅 UI를 통해 모델 로드 후 즉시 대화가 가능하며, 스트리밍 응답과 병렬 함수 호출 기능도 지원합니다. 개발자는 NuGet 패키지 형태로 자신의 앱에 엔진을 직접 포함하거나 독립 실행형 서버로 운영할 수 있습니다.

dotLLM 채팅 UI에서 토큰별 신뢰도를 색상으로 시각화한 화면 — ScreenshotOpenAI 호환 logprobs 데이터를 활용하여 생성된 각 토큰의 확신도를 시각적으로 보여줍니다. 녹색은 높은 신뢰도, 붉은색은 낮은 신뢰도를 나타내어 모델이 어떤 부분에서 추측을 했는지 직관적으로 파악할 수 있게 돕습니다.

용어 해설

페이지드 KV 캐시(Paged KV-Cache): — LLM 추론 시 이전 토큰들의 키-값 쌍을 메모리에 저장할 때, 고정된 크기의 블록 단위로 관리하는 기법입니다. 메모리 파편화를 방지하고 긴 컨텍스트를 효율적으로 처리하여 추론 성능을 높이는 데 필수적입니다.
투기적 디코딩(Speculative Decoding): — 작고 빠른 초안 모델이 토큰을 먼저 생성하고, 큰 대상 모델이 이를 한 번에 검증하는 방식입니다. 대상 모델의 연산 횟수를 줄여 결과물의 품질은 유지하면서 생성 속도를 획기적으로 높입니다.
단일 명령 다중 데이터(SIMD): — 하나의 명령어로 여러 개의 데이터를 동시에 처리하는 하드웨어 가속 기술입니다. CPU의 AVX2나 AVX-512 명령어를 활용해 행렬 연산 등 대규모 수치 계산을 병렬화하여 수행 속도를 높입니다.
GGUF: — LLM 모델 가중치를 저장하기 위한 바이너리 파일 형식으로, 단일 파일에 메타데이터와 텐서 데이터를 모두 포함합니다. mmap을 통한 빠른 로딩과 다양한 양자화 형식을 지원하여 로컬 추론 환경에서 널리 쓰입니다.
네이티브 사전 컴파일(Native AOT): — .NET 코드를 실행 시점이 아닌 빌드 시점에 기계어로 직접 컴파일하는 기술입니다. 런타임 의존성을 줄이고 시작 시간을 단축하며, 메모리 사용량을 최적화하여 고성능 애플리케이션 배포에 유리합니다.

기술

C#
.NET 10
CUDA
AVX-512
GGUF
ASP.NET Core

활용 사례

로컬 LLM 추론 서버
.NET 애플리케이션 내장형 챗봇
구조화된 데이터 추출 시스템
저지연 엣지 AI 서비스

언급된 리소스

GitHubdotLLM GitHub Repository