WebLLM: 브라우저 내 고성능 LLM 추론 엔진

섹션별 상세

브라우저 내 하드웨어 가속을 위해 WebGPU 기술을 핵심으로 사용합니다. 별도의 서버 연산 없이 사용자의 GPU 자원을 직접 활용하여 LLM 추론을 수행하므로 지연 시간을 줄이고 서버 비용을 제거합니다. 이를 통해 개인정보가 외부로 유출되지 않는 안전한 AI 서비스 구축이 가능합니다.

근거

WebLLM은 WebGPU를 사용하여 하드웨어 가속을 수행하고 서버 지원 없이 브라우저 내에서 작동한다. — Overview 섹션 및 Key Features의 In-Browser Inference 항목

OpenAI API 규격과 완벽하게 호환되도록 설계되었습니다. 개발자는 기존 OpenAI SDK를 사용하는 방식 그대로 모델 파라미터만 변경하여 로컬 모델을 호출할 수 있으며, 스트리밍 응답과 시드(Seed) 기반 재현성 제어를 지원합니다. 이는 기존 AI 앱의 백엔드를 로컬 환경으로 전환하는 비용을 최소화합니다.

근거

OpenAI API와 완벽하게 호환되며 스트리밍, JSON 모드 등을 지원한다. — Key Features의 Full OpenAI API Compatibility 항목

WebAssembly(WASM) 기반의 구조화된 데이터 생성 기능을 내장하고 있습니다. 모델 라이브러리 수준에서 JSON 모드를 구현하여 성능 저하 없이 정확한 스키마에 맞는 출력을 보장합니다. 사용자는 Hugging Face의 JSON Playground를 통해 커스텀 스키마 기반의 생성을 직접 테스트해 볼 수 있습니다.

다양한 실행 환경 최적화를 위해 Web Worker와 Service Worker를 지원합니다. 무거운 추론 계산을 메인 UI 스레드와 분리된 워커 스레드에서 처리하여 웹 페이지의 반응성을 유지합니다. 특히 Service Worker를 활용하면 페이지를 새로고침하더라도 모델을 다시 로드할 필요 없이 지속적인 서비스를 제공할 수 있습니다.

근거

Llama 3, Phi 3, Gemma, Mistral, Qwen 등 다양한 모델 제품군을 기본 지원한다. — Built-in Models 섹션

MLC LLM 프로젝트와 연계되어 커스텀 모델 통합이 용이합니다. 사용자는 MLC 포맷으로 컴파일된 모델 가중치와 WASM 라이브러리를 지정하여 자신만의 특화 모델을 브라우저에 배포할 수 있습니다. SRI(Subresource Integrity) 해시 검증 기능을 통해 다운로드되는 모델 아티팩트의 무결성을 보장하는 안전 장치도 포함되어 있습니다.