식품 제조 현장을 위한 로컬 LLM 기반 SQL 질의 도구 'OpsMind' 개발기

실용적 조언

Ollama의 Modelfile을 사용하여 시스템 프롬프트에 스키마를 미리 정의하면 쿼리 시점의 프롬프트 길이를 줄일 수 있다.
자주 묻는 질문은 별도의 쿼리 라이브러리로 관리하여 LLM 비용과 오류를 방지하는 하이브리드 방식을 권장한다.

섹션별 상세

로컬 환경에서 Phi-3 Mini 모델을 활용한 Text-to-SQL 파이프라인을 구축했다. 사용자의 자연어 질문이 입력되면 Schema Registry가 150개 테이블 중 관련 있는 4개를 선택하고, Ollama가 SQL을 생성한 뒤 SQLAlchemy로 실행한다. ASUS Vivobook Go 15(AMD Ryzen, 16GB RAM) 환경에서 10~25초의 응답 시간을 기록하며 실무 적용 가능성을 확인했다. 저사양 하드웨어에서도 소형 모델을 통해 데이터 질의 자동화가 가능함을 입증했다.

데이터베이스 스키마 정보를 모델에 주입하는 방식을 최적화하기 위해 커스텀 Modelfile을 활용했다. 쿼리 시점에 매번 스키마를 주입하는 대신 시스템 프롬프트에 공장 스키마를 미리 포함시켜 모델의 컨텍스트 효율성을 높였다. 이는 모델이 데이터 구조를 상시 인지하게 하여 쿼리 생성의 일관성을 확보하고 매번 발생하는 오버헤드를 줄이는 전략이다. 스키마 인젝션 단계를 생략함으로써 추론 프로세스를 단순화했다.

자주 발생하는 10가지 주요 질문에 대해서는 LLM을 거치지 않는 사전 정의된 쿼리 라이브러리를 병행 운영한다. 이를 통해 반복적인 작업에 대해서는 100%의 정확도와 즉각적인 응답 속도를 보장하며 시스템의 신뢰도를 보완했다. LLM의 비결정론적 특성으로 인한 오류 가능성을 하이브리드 접근법으로 해결하여 현장 작업자의 편의성을 극대화했다. 모든 요청을 LLM으로 처리하지 않고 효율성에 따라 경로를 분기하는 설계이다.

용어 해설

텍스트-SQL 변환(Text-to-SQL): — 자연어로 된 질문을 데이터베이스 쿼리 언어인 SQL로 자동 변환하는 기술이다. LLM이 데이터베이스 스키마를 이해하고 적절한 쿼리를 생성하여 비전문가도 데이터 분석을 수행할 수 있게 돕는다.
스키마 레지스트리(Schema Registry): — 데이터베이스의 테이블 구조와 관계 정보를 저장하고 관리하는 시스템이다. 수많은 테이블 중 질문과 관련된 항목만 선별하여 LLM의 프롬프트 길이를 최적화하고 정확도를 높이는 역할을 한다.
모델파일(Modelfile): — Ollama에서 모델의 동작 방식, 시스템 프롬프트, 파라미터 등을 정의하는 설정 파일이다. 특정 도메인의 지식이나 제약 사항을 모델에 미리 주입하여 실행 시마다 반복적인 설정을 방지한다.

언급된 도구

Ollama추천

로컬 LLM 실행 및 추론 엔진

Phi-3 Mini추천

SQL 생성을 위한 경량 언어 모델

SQLAlchemy추천

파이썬 기반 SQL 실행 및 데이터베이스 연동 라이브러리

언급된 리소스

GitHubOpsMind GitHub Repository