소형 로컬 모델 및 OpenRouter 모델 대상 에이전트 기반 Text-to-SQL 벤치마크 결과

실용적 조언

SQL 생성 작업에 소형 모델을 사용할 경우, 반드시 실행 결과 피드백을 통한 디버깅 루프를 워크플로우에 포함하여 정확도를 보완해야 한다.
NVIDIA Nemotron-Cascade-2-30B-A3B는 특정 SQL 작업에서 Qwen보다 나은 대안이 될 수 있으므로 비교 검토가 필요하다.

섹션별 상세

에이전트 기반의 Text-to-SQL 워크플로우를 구축하여 모델의 성능을 측정했다. 자연어 쿼리를 SQL로 변환한 후 실제 데이터베이스에서 실행하고, 에이전트가 그 결과를 바탕으로 제한된 횟수 내에서 스스로 쿼리를 수정하는 디버깅 과정을 포함했다. 단순 생성 방식보다 실제 업무 환경에 가까운 성능 지표를 도출하는 데 중점을 두었다.

오픈 소스 모델 중 Qwen 3.5 27B와 397B-A17B, kimi-k2.5가 가장 우수한 성적을 거두었다. 특히 NVIDIA Nemotron-Cascade-2-30B-A3B 모델은 Qwen 3.5-35B-A3B를 능가하며 Codex 5.3과 대등한 수준의 정확도를 보여주었다. Mimo v2 Flash 모델 또한 효율성 측면에서 매우 뛰어난 성능을 보였다.

다양한 LLM 모델들의 SQL 벤치마크 테스트 통과 여부를 나타내는 히트맵 결과표이다. — Chart각 행은 테스트된 모델을, 각 열은 25개의 개별 테스트 케이스를 나타내며 초록색은 성공, 빨간색은 실패를 의미한다. 상단에 위치한 Qwen 3.5 및 NVIDIA Nemotron 모델들이 대부분의 케이스를 통과하며 우수한 성능을 보이고 있음을 시각적으로 확인할 수 있다.

Llama.cpp의 WASM 버전을 활용하여 사용자가 자신의 브라우저에서 직접 벤치마크를 실행할 수 있는 환경을 제공했다. 총 25개의 질문으로 구성된 테스트는 대부분의 모델에서 5분 이내에 완료될 만큼 신속하게 설계되었으며, 모델 간의 변별력을 확보할 수 있는 난이도로 구성되었다.

용어 해설

텍스트-SQL 변환(Text-to-SQL): — 사용자의 자연어 질문을 데이터베이스에서 실행 가능한 SQL 쿼리로 자동 변환하는 기술이다. 모델이 데이터베이스 스키마와 SQL 문법을 동시에 이해해야 하므로 고도의 논리적 추론 능력이 필요하며, 데이터 분석 자동화의 핵심 요소이다.
에이전트 기반 워크플로우(Agentic Workflow): — LLM이 단순히 한 번의 답변을 생성하는 것에 그치지 않고, 도구 사용, 결과 확인, 오류 수정 등의 과정을 반복하며 목표를 달성하는 방식이다. 이 벤치마크에서는 SQL 실행 결과를 확인하고 스스로 쿼리를 수정하는 디버깅 루프에 적용됐다.
웹어셈블리(WASM): — 웹 브라우저에서 네이티브에 가까운 속도로 바이너리 코드를 실행할 수 있게 해주는 기술이다. Llama.cpp와 같은 추론 엔진을 브라우저 환경에서 직접 구동하여 별도의 서버 없이도 로컬 LLM의 성능을 측정하고 활용할 수 있게 한다.

언급된 도구

Llama.cpp추천

WASM 버전을 통한 브라우저 내 로컬 모델 추론 및 벤치마크 실행

OpenRouter중립

다양한 외부 LLM 모델 API 접근 및 테스트

언급된 리소스

DemoAgentic SQL Benchmark