llm.sql: SQLite 기반의 초경량 LLM 추론 프레임워크

섹션별 상세

기존 OS의 페이지 교체 알고리즘이 LLM 추론의 결정론적 메모리 접근 패턴을 효율적으로 처리하지 못하는 문제를 해결하고자 합니다. LLM 추론 시 어떤 가중치가 언제 필요한지 미리 알 수 있음에도 불구하고 OS는 LRU 같은 범용 전략을 사용하여 불필요한 페이지 폴트와 스왑을 발생시킵니다. llm.sql은 이러한 메모리 관리 주도권을 OS로부터 가져와 직접 제어함으로써 하드웨어 병목 현상을 완화합니다.

모델 파라미터를 SQLite BLOB 테이블에 저장하고 계산 로직을 SQLite C 확장으로 구현하여 데이터베이스 엔진 위에서 추론을 수행합니다. 모든 모델 가중치와 연산 과정이 SQL 쿼리 형태로 구조화되어 실행되므로 메모리 사용량을 명시적이고 결정론적으로 관리할 수 있습니다. 이를 통해 사용 가능한 메모리가 모델 크기보다 작은 환경에서도 안정적인 추론이 가능해집니다.

Qwen2.5-0.5B-INT8 모델을 대상으로 한 벤치마크에서 모델 크기보다 훨씬 적은 메모리로 구동 가능한 실증적 수치를 제시했습니다. 약 640MB 크기의 모델을 구동하면서도 피크 RSS(실제 메모리 점유량)를 210MB 수준으로 유지하며 초당 7.40 토큰의 처리량을 기록했습니다. 이는 메모리 대역폭과 용량이 제한적인 엣지 환경에서 LLM을 운용할 수 있는 새로운 가능성을 보여줍니다.

근거

Qwen2.5-0.5B-INT8 모델을 피크 RSS 210MB 환경에서 초당 7.40 토큰 속도로 실행했다. — Results 섹션 및 GitHub 저장소 설명 출처

기술

SQLite
Python
C
C++
Qwen2.5

활용 사례

저사양 엣지 디바이스에서의 LLM 추론
의존성을 최소화한 임베디드 AI 애플리케이션
메모리 제약이 엄격한 환경의 챗봇 구현

언급된 리소스

GitHubllm.sql GitHub Repository