BEAVER: 기업용 Text-to-SQL 벤치마크

섹션별 상세

기존 벤치마크와 달리 실제 기업 조직에서 수집된 데이터로 구성되어 실무 환경을 반영한다.

데이터셋은 19개 도메인, 812개 테이블, 9,128개 쿼리로 구성되어 규모와 다양성을 확보했다.

평가 체계는 다중 테이블 검색, 조인 키 탐지, 컬럼 매핑, 도메인 지식 추출, 쿼리 분해 등 5가지 핵심 하위 작업을 포함한다.

쿼리는 도메인 지식 유무와 복잡도에 따라 세 가지 범주로 분류되어 모델의 세밀한 성능 분석이 가능하다.

텍스트-투-SQL(Text-to-SQL): — 자연어 질의를 데이터베이스 쿼리인 SQL로 변환하는 기술. 데이터베이스 스키마와 질문을 입력받아 정확한 SQL을 생성하는 것이 핵심이며, 기업 데이터 분석 자동화의 필수 요소이다.
벤치마크(Benchmark): — 모델의 성능을 객관적으로 측정하기 위한 표준화된 데이터셋과 평가 지표. 특정 도메인에서의 모델 강점과 약점을 파악하는 데 사용된다.
쿼리 분해(Query Decomposition): — 복잡한 자연어 질문을 처리 가능한 여러 개의 단순한 하위 질의로 나누는 과정. 다중 테이블 조인이 필요한 복잡한 SQL 생성 시 모델의 정확도를 높이는 데 중요하다.