소형 로컬 모델 및 OpenRouter 모델 대상 에이전트 기반 Text-to-SQL 벤치마크 결과

작성자가 공개한 벤치마크 도구와 결과에 대해 긍정적인 반응이 많으며, 특히 소형 모델들의 의외의 선전에 주목하는 분위기이다.

• SQL 생성 작업에 소형 모델을 사용할 경우, 반드시 실행 결과 피드백을 통한 디버깅 루프를 워크플로우에 포함하여 정확도를 보완해야 한다.
• NVIDIA Nemotron-Cascade-2-30B-A3B는 특정 SQL 작업에서 Qwen보다 나은 대안이 될 수 있으므로 비교 검토가 필요하다.

• Qwen 3.5 27B 모델은 소형 모델임에도 불구하고 SQL 생성 및 디버깅 작업에서 대형 모델에 필적하는 강력한 성능을 입증했다.
• 에이전트가 실행 결과를 확인하고 스스로 코드를 수정하는 디버깅 루프가 최종 SQL 정확도를 높이는 핵심 요소임이 확인됐다.
• Llama.cpp WASM 구현을 통해 별도의 서버 인프라 없이도 브라우저에서 로컬 모델의 성능을 즉시 벤치마킹할 수 있다.