dlgo: 외부 의존성 없는 순수 Go 언어 기반 초고속 LLM 추론 엔진

섹션별 상세

dlgo는 Python, CUDA, C++ 라이브러리 등 외부 의존성 없이 Go 언어만으로 작성된 LLM 추론 라이브러리 및 도구이다. go install 명령어로 즉시 설치 가능하며, GGUF 포맷의 모델을 로드하여 대화형 CLI나 웹 서버 형태로 운영할 수 있다.

bash

go install github.com/computerex/dlgo/cmd/dlgo@latest
dlgo run model.gguf --gpu

dlgo CLI 설치 및 GPU 가속을 사용한 모델 실행 예시

Vulkan GPU 백엔드를 탑재하여 하드웨어 가속을 지원한다. NVIDIA GeForce RTX 4070 Ti SUPER 기준 TinyLlama 1.1B 모델에서 423 tok/s의 속도를 기록했으며, 이는 Ollama Vulkan 대비 126%, Ollama CUDA 대비 15% 이상 빠른 수치이다.

25가지 이상의 양자화 포맷(Q4_0~Q8_0, K-quants, I-quants 등)을 지원하며, MoE(Mixture of Experts)와 하이브리드 SSM+Attention 구조(Qwen3.5 등)를 효율적으로 처리한다. 특히 GPU 메모리 부족 시 CPU로 자동 폴백하는 Never-OOM 기능을 갖추고 있다.

OpenAI 호환 API 서버 기능을 내장하여 기존 LLM 애플리케이션과의 연동이 용이하다. /v1/chat/completions 엔드포인트를 통해 스트리밍 응답을 제공하며, 모델 동적 로드/언로드 및 성능 메트릭 확인이 가능한 웹 UI도 함께 제공한다.

model, err := dlgo.LoadLLM("model.gguf")
if err != nil {
    log.Fatal(err)
}
// Streaming
model.ChatStream("", "Write a poem.", func(token string) {
    fmt.Print(token)
}, dlgo.WithMaxTokens(256))

Go 라이브러리로서 dlgo를 사용하여 스트리밍 대화를 구현하는 예시

LLM 외에도 Whisper를 이용한 음성-텍스트 변환(STT)과 Silero VAD(음성 활동 감지) 기능을 포함하고 있다. 이를 통해 텍스트 기반 AI뿐만 아니라 음성 인터페이스를 갖춘 애플리케이션 구축을 위한 통합 환경을 제공한다.

용어 해설

GGUF: — LLM 가중치를 저장하기 위한 바이너리 파일 포맷으로, 단일 파일에 메타데이터와 텐서를 포함하며 CPU 및 GPU에서 효율적으로 로드할 수 있도록 설계된 포맷이다. dlgo는 이 포맷을 직접 파싱하여 추론에 활용한다.
벌칸(Vulkan): — 크로스 플랫폼 그래픽 및 컴퓨팅 API로, 특정 벤더에 종속되지 않고 다양한 GPU 하드웨어에서 병렬 연산 가속을 가능하게 한다. dlgo는 벌칸 백엔드를 통해 NVIDIA 외의 GPU에서도 고성능 추론을 지원한다.
양자화(Quantization): — 모델의 가중치를 낮은 비트(예: 4비트, 8비트)로 표현하여 메모리 사용량을 줄이고 추론 속도를 높이는 최적화 기법이다. dlgo는 25종 이상의 양자화 포맷을 지원하여 저사양 하드웨어에서도 대형 모델 실행을 가능하게 한다.
전문가 혼합(MoE): — 모델의 전체 파라미터 중 일부 전문가 레이어만 활성화하여 연산 효율을 극대화하는 아키텍처이다. dlgo는 GPU 측면의 top-K 라우팅과 전문가 디스패치 기능을 통해 MoE 모델의 추론 성능을 최적화한다.
단일 명령 다중 데이터(SIMD): — 하나의 명령어로 여러 데이터를 동시에 처리하는 CPU 기술이다. dlgo는 AVX2, FMA, VNNI 등의 명령어를 활용하여 병렬 연산을 수행함으로써 GPU가 없는 환경에서도 높은 CPU 추론 성능을 확보한다.

기술

Go
Vulkan
GGUF
Whisper
React

활용 사례

로컬 LLM 실행
Go 애플리케이션 내 LLM 통합
OpenAI 호환 API 서버
음성-텍스트 변환(STT)

언급된 리소스

GitHubdlgo GitHub Repository

dlgo: 외부 의존성 없는 순수 Go 언어 기반 초고속 LLM 추론 엔진

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

.NET 네이티브 LLM 인퍼런스 엔진용 GGUF 모델 지원

로컬 LLM 추론 엔진 비교: Llama.cpp vs vLLM

TensorSharp: GGUF 로컬 추론 엔진

관련 토론

댓글

관련 기사

.NET 네이티브 LLM 인퍼런스 엔진용 GGUF 모델 지원

로컬 LLM 추론 엔진 비교: Llama.cpp vs vLLM

TensorSharp: GGUF 로컬 추론 엔진