SEAR: LLM 게이트웨이를 위한 스키마 기반 평가 및 라우팅 시스템

다양한 LLM을 섞어 사용하는 환경에서 각 모델의 응답 품질을 정밀하게 측정하고 최적의 모델로 요청을 보내는 것은 운영 효율성의 핵심이다. SEAR는 복잡한 평가 지표를 100여 개의 정형화된 데이터베이스 컬럼으로 변환하여, 개발자가 익숙한 SQL만으로도 고성능·저비용의 AI 서비스를 운영할 수 있는 체계를 제공한다.

기존의 LLM 평가는 주로 자유 형식의 텍스트로 이루어져 대규모 데이터를 통계적으로 분석하거나 실시간 라우팅에 활용하기 어려웠다. 이는 마치 수만 개의 고객 리뷰를 일일이 읽어야만 서비스의 문제를 파악할 수 있는 것과 같은 비효율을 초래한다. SEAR는 이 문제를 해결하기 위해 LLM의 판단 결과를 처음부터 데이터베이스의 '테이블' 구조로 강제한다.

핵심은 LLM이 정형화된 형식을 지키면서도 깊이 있는 사고를 할 수 있게 만드는 'In-Schema Reasoning'이다. 일반적으로 LLM에게 JSON 형식을 강요하면 추론 능력이 저하되는데, SEAR는 JSON의 첫 번째 필드에 추론 과정을 먼저 적도록 설계하여 모델이 스스로 논리를 정리한 뒤 정형화된 값을 채우도록 유도한다. 이는 딥러닝의 Chain-of-Thought 개념을 데이터 스키마 내부에 직접 이식한 것과 같다.

결과적으로 모든 평가 신호가 SQL로 조회 가능한 형태가 되어, 개발자는 '코딩 질문 중 오류가 잦은 모델은 무엇인가?'와 같은 복잡한 질문에 대한 답을 즉각적으로 얻을 수 있다. 이러한 정형화된 신호는 실시간으로 가장 저렴하면서도 품질이 보장되는 모델로 요청을 배정하는 지능형 라우팅의 핵심 엔진이 된다.

SEAR 시스템은 중앙 LLM 게이트웨이가 요청을 처리하며 운영 지표를 기록하고, 이 중 일부를 샘플링하여 SEAR Judge에게 전달하는 구조로 작동한다. Judge는 context_info, llm_response_info, issue_attribution, evaluation의 4개 테이블을 순차적으로 생성하며, 각 테이블은 외래 키로 연결된다.

각 테이블 생성 시 'Self-Contained Signal Instructions' 설계를 적용한다. [입력: 각 컬럼별 정의, 증거 범위, 할당 규칙이 포함된 상세 지시문] → [연산: LLM이 필드별 독립적 판단 수행] → [출력: 타입이 지정된 JSON 필드 값] → [의미: 다른 필드와의 간섭 없이 정확한 개별 신호를 추출하여 데이터베이스에 즉시 삽입 가능한 형태로 변환].

생성된 데이터는 'Cross-Table Consistency Check'를 통해 검증된다. [입력: 4개 테이블의 연결된 레코드] → [연산: SQL JOIN을 통한 논리적 모순 탐색(예: 요청에 도구 사용이 없는데 오류 원인이 도구 사용으로 기록된 경우)] → [출력: 모순된 레코드 플래그] → [의미: LLM의 환각이나 판단 오류를 시스템적으로 걸러내어 데이터 신뢰도를 보장].

3,000개의 실제 운영 세션을 바탕으로 한 실험에서, GPT-5-mini 모델을 Judge로 사용했을 때 불리언(Boolean) 신호 정확도 91% 이상, 카테고리형 신호 정확도 92% 이상을 기록했다. 특히 고도의 추론(High Reasoning Effort)을 적용할수록 정확도가 일관되게 향상됨이 확인되었다.

라우팅 케이스 스터디에서는 SEAR의 평가 지표를 활용해 모델을 교체한 결과, 기존 모델(Claude-Haiku-4-5) 대비 품질은 동등하게 유지하면서도 입력 토큰 비용은 90%, 출력 토큰 비용은 92% 절감하는 성과를 거두었다. 이는 정형화된 평가 신호가 실제 비즈니스 비용 최적화에 직접적으로 기여할 수 있음을 보여준다.

SEAR의 아키텍처는 평가(Evaluation)와 운영(Operations) 지표를 SQL이라는 공통 언어로 통합한 것이 핵심이다. 약 100개의 타입이 지정된 컬럼을 통해 LLM의 내부 추론 과정을 정형화된 데이터로 변환한다.

In-Schema Reasoning은 수식 p(r, Y | x) = p(r | x) * Π p(Yi | Y<i, r, x)를 기반으로 한다. [입력: 문맥 x] → [연산: 추론 텍스트 r 생성 후 이를 조건부로 하여 순차적으로 신호 Yi 생성] → [출력: 단일 자동 회귀 패스로 생성된 JSON] → [의미: 별도의 CoT 호출 없이도 추론 품질을 유지하며 연산 효율성을 극대화].

다단계 생성(Multi-Stage Generation)은 방대한 스키마를 처리할 때 발생하는 성능 저하를 막기 위해 도입되었다. 이전 단계의 정형화된 출력을 다음 단계의 입력으로 제공함으로써, 모델이 참조해야 할 문맥의 길이를 제한하고 지시 사항의 모호성을 줄여 생성 안정성을 확보한다. 이는 복잡한 의존성을 가진 관계형 데이터를 LLM이 정확하게 생성하게 만드는 핵심 기법이다.

현재 데이터셋이 특정 모델과 작업 유형에 한정되어 있어 더 넓은 범위의 모델 풀에 대한 검증이 필요하다. 또한, 실시간 라우팅을 위해 사용되는 경량 분류 모델의 정확도가 메인 Judge 모델에 비해 낮아, 복잡한 작업에서의 실시간 판단에는 한계가 있을 수 있다.