RuleChef: LLM 지식을 사람 편집형 규칙으로 고정하는 프레임워크

규칙 기반 접근은 결정 과정을 추적·수정하기 쉬워 의료·법률처럼 규제가 엄격한 영역에서 요구되는 설명가능성을 제공한다. 대형 언어모델은 규칙을 직접 추론하는 대신 규칙 생성과 패치 제안에만 활용되어 추론 비용과 감사 부담을 줄였다. RuleChef는 LLM을 학습시간에만 사용하고 실행시간에는 결정론적 규칙만 동작시키므로 운영 비용과 투명성 두 축을 동시에 개선할 가능성을 제시한다.

명시적 규칙은 표면 형식을 따르는 엔터티에 대해 높은 정밀도로 일관된 추론을 제공하고, 사람이 직접 검증·수정 가능한 장점이 있다. 대형 언어모델은 이런 규칙을 처음부터 인간이 일일이 작성하지 않고도 예제에서 일반화된 패턴으로 번역할 수 있는 능력을 보유하고 있다. RuleChef는 이 능력을 학습 단계에서 이용해 실행 시에는 규칙만 사용하는 형태로 지식을 고정한다.

전체 파이프라인은 규칙 합성, 개발셋 검증, 실패 군집화, 패치 생성의 반복 루프로 구성되어 있다. 합성 단계에서는 작업 정의, 예제 샘플, grex로 생성된 형식 힌트, 그리고 응답 스키마를 포함한 프롬프트를 LLM에 제공해 클래스별 규칙 후보를 생성한다. 생성된 규칙은 컴파일 검사와 임의 문자열 프로빙을 거쳐 과도하게 포괄적인 패턴이 아닌지 자동 검증을 수행한다.

TAB 데이터의 청크 평가에서 RuleChef 규칙 집합은 형식 기반 엔티티 그룹에서 F1 78.7을 기록했고 의미 기반 엔터티 그룹에서는 F1 47.8을 기록하여 형식 유형에 대해 특히 강한 성능을 보였다. 개발 실험에서 규칙 기반 실행은 문서당 약 0.6ms로 지연이 매우 낮았고 규칙 학습에는 20회 미만의 LLM 호출과 약 12분의 전체 시간만 소요되었다. Banking77 실험의 관찰 모드에서는 관찰 예시 수가 10→50으로 증가할 때 정밀도가 0.93→0.96으로 상승하고 재현율이 0.19→0.50으로 증가해 적은 수의 예시로도 규칙이 점진적으로 범위를 넓혀감이 확인되었다.

규칙 표현은 기본적으로 정규표현식(regex)을 중심으로 제공되며 spaCy 패턴이나 임의 Python 코드 형식도 지원된다. 합성된 각 규칙은 개발셋에서의 정밀도(precision)와 매치 수를 기록하고 규칙 충돌 시 우선순위·개별 정밀도로 해결한다. 저지원 규칙의 과대평가를 막기 위해 Wilson lower bound를 적용하고 룰의 주변 기여도를 평가하는 leave-one-out 패스를 통해 불필요한 규칙을 제거한다.

제시된 실험은 단일 LLM 계열(Kimi-K2)과 영어 데이터셋에 국한된 단일 실행 결과를 기반으로 하고 있어 결과의 일반성은 추가 실험이 필요하다. 반복 실행 간에 F1 편차가 약 ±3 포인트로 관찰되어 시스템 비유사성으로 인한 변동성이 존재한다는 점이 명시적으로 보고되었다. 합성 품질은 프로프트 설계, 청크링 및 샘플링 전략, 개발셋 분할에 크게 의존하므로 적용 시 이들 설계 변수를 신중히 조정해야 한다.