RuleChef: LLM 지식을 사람 편집형 규칙으로 고정하는 프레임워크

왜 중요한가

규칙 기반 접근은 결정 과정을 추적·수정하기 쉬워 의료·법률처럼 규제가 엄격한 영역에서 요구되는 설명가능성을 제공한다. 대형 언어모델은 규칙을 직접 추론하는 대신 규칙 생성과 패치 제안에만 활용되어 추론 비용과 감사 부담을 줄였다. RuleChef는 LLM을 학습시간에만 사용하고 실행시간에는 결정론적 규칙만 동작시키므로 운영 비용과 투명성 두 축을 동시에 개선할 가능성을 제시한다.

핵심 기여

LLM을 학습시간 규칙 합성기로 활용하는 파이프라인.

RuleChef는 LLM을 규칙 생성과 패치 제안에만 사용하고 추론 시에는 규칙만 실행하도록 설계되어 실행 비용을 거의 0으로 낮추었다. 합성된 각 규칙은 개발셋에서의 정밀도와 매치 수를 메타데이터로 기록하여 이후 충돌 해결과 우선순위 결정을 가능하게 했다. 이 분리는 규칙의 감사성·편집 가능성·버전 관리를 용이하게 만들었다.

홀드아웃 기반 수용 기준과 클러스터링 기반 패치 루프.

새 규칙은 훈련 데이터로 생성된 뒤 개발셋에서의 F1 또는 정밀도 향상 시에만 수용되어 암기성 규칙의 축적을 방지했다. 수천 건의 실패 사례를 클러스터링해 대표 실패 샘플을 LLM에 제공함으로써 패치가 특정 실패 모드에 집중하도록 유도했다. 이 과정은 반복적 개선과 규칙 간 충돌 해소를 자동화하는 핵심 메커니즘이다.

관찰 모드와 인간 피드백을 통합한 실무용 워크플로.

관찰 모드는 기존 LLM의 입출력을 라벨 대신 규칙 학습 신호로 사용하여 라벨이 없는 환경에서도 규칙을 생성하고 점진적으로 LLM 호출을 대체한다. 인간이 규칙 수준의 피드백을 한 문장만 제공해도 RuleChef는 해당 피드백을 반영한 패치를 제안하고 개발셋에서 개선을 검증했다. 이 워크플로는 규칙의 수정·감사를 사람 중심으로 유지하면서도 자동화된 개선을 가능하게 했다.

오픈소스 구현 및 실험적 비교.

제공된 구현은 Apache 2.0 라이선스로 공개되어 재현 가능성을 확보했고 실험에서 TAB과 Banking77을 사용해 규칙 기반 결과를 신경망 및 LLM 프롬프트와 직접 비교했다. 특히 형식 기반 엔터티에서는 규칙이 높은 F1을 내고 실행 지연이 밀리초 단위로 낮음을 수치로 보였다. 이 공개 구현은 추가 실험과 도메인별 적용을 촉진한다.

핵심 아이디어 이해하기

명시적 규칙은 표면 형식을 따르는 엔터티에 대해 높은 정밀도로 일관된 추론을 제공하고, 사람이 직접 검증·수정 가능한 장점이 있다. 대형 언어모델은 이런 규칙을 처음부터 인간이 일일이 작성하지 않고도 예제에서 일반화된 패턴으로 번역할 수 있는 능력을 보유하고 있다. RuleChef는 이 능력을 학습 단계에서 이용해 실행 시에는 규칙만 사용하는 형태로 지식을 고정한다.

방법론

전체 파이프라인은 규칙 합성, 개발셋 검증, 실패 군집화, 패치 생성의 반복 루프로 구성되어 있다. 합성 단계에서는 작업 정의, 예제 샘플, grex로 생성된 형식 힌트, 그리고 응답 스키마를 포함한 프롬프트를 LLM에 제공해 클래스별 규칙 후보를 생성한다. 생성된 규칙은 컴파일 검사와 임의 문자열 프로빙을 거쳐 과도하게 포괄적인 패턴이 아닌지 자동 검증을 수행한다.

주요 결과

TAB 데이터의 청크 평가에서 RuleChef 규칙 집합은 형식 기반 엔티티 그룹에서 F1 78.7을 기록했고 의미 기반 엔터티 그룹에서는 F1 47.8을 기록하여 형식 유형에 대해 특히 강한 성능을 보였다. 개발 실험에서 규칙 기반 실행은 문서당 약 0.6ms로 지연이 매우 낮았고 규칙 학습에는 20회 미만의 LLM 호출과 약 12분의 전체 시간만 소요되었다. Banking77 실험의 관찰 모드에서는 관찰 예시 수가 10→50으로 증가할 때 정밀도가 0.93→0.96으로 상승하고 재현율이 0.19→0.50으로 증가해 적은 수의 예시로도 규칙이 점진적으로 범위를 넓혀감이 확인되었다.

기술 상세

규칙 표현은 기본적으로 정규표현식(regex)을 중심으로 제공되며 spaCy 패턴이나 임의 Python 코드 형식도 지원된다. 합성된 각 규칙은 개발셋에서의 정밀도(precision)와 매치 수를 기록하고 규칙 충돌 시 우선순위·개별 정밀도로 해결한다. 저지원 규칙의 과대평가를 막기 위해 Wilson lower bound를 적용하고 룰의 주변 기여도를 평가하는 leave-one-out 패스를 통해 불필요한 규칙을 제거한다.

한계점

제시된 실험은 단일 LLM 계열(Kimi-K2)과 영어 데이터셋에 국한된 단일 실행 결과를 기반으로 하고 있어 결과의 일반성은 추가 실험이 필요하다. 반복 실행 간에 F1 편차가 약 ±3 포인트로 관찰되어 시스템 비유사성으로 인한 변동성이 존재한다는 점이 명시적으로 보고되었다. 합성 품질은 프로프트 설계, 청크링 및 샘플링 전략, 개발셋 분할에 크게 의존하므로 적용 시 이들 설계 변수를 신중히 조정해야 한다.

실무 활용

RuleChef 구현은 GitHub에서 공개되어 있어 실무 시스템에 규칙 기반 계층을 빠르게 적용할 수 있는 출발점을 제공한다. 규칙은 실행 시점에 매우 빠르고 결정론적이므로 비용 민감한 파이프라인에서 LLM 호출을 줄이는 용도로 유용하다. 인간 피드백을 통해 빠르게 결함을 교정할 수 있어 규제가 엄격한 도메인에서 적용 가능성이 높다.

민감 문서의 자동 익명화 파이프라인에서 표준화된 형식 엔터티(사건번호, 날짜, 전화번호 등)를 빠르게 탐지하고 LLM 호출을 대체하는 1차 처리 계층으로 사용될 수 있다.
고정밀이 요구되는 법률·의료 텍스트에서 규칙을 우선 적용하고 남은 애매한 사례만 LLM이나 신경망에 위임하는 하이브리드 파이프라인에 통합될 수 있다.
운영 중인 LLM의 입력·출력 관찰을 통해 라벨 없이도 점진적으로 규칙 기반 캐시를 구축하여 비용과 지연을 낮추는 자동화된 규칙 발견 파이프라인으로 활용될 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLM(대형 언어 모델)regex(정규표현식)rule-based-system(규칙 기반 시스템)held-out split(홀드아웃 검증셋)human-in-the-loop(사람 중심 피드백)

용어 해설

정규표현식(Regular Expression): — 텍스트 패턴을 서술하는 형식 언어로서 문자열 매칭을 위해 사용된다. RuleChef 문맥에서는 엔티티 포맷을 포착하는 규칙으로 활용되며 컴파일 여부와 임의 매칭 검사를 통해 유효성을 확인한다. 정밀도가 높은 표면형식 기반 엔티티를 빠르게 식별하는 수단으로 중요하다.
홀드아웃 검증셋(Held-out Split): — 학습 중 생성된 규칙의 일반화 성능을 측정하기 위해 학습 데이터에서 분리한 검증용 데이터 부분집합이다. RuleChef는 새로 합성된 규칙을 이 셋에서 평가하여 오버피팅을 걸러내고 규칙 수용 여부를 결정한다. 이 방식은 규칙의 개발 시점 편향을 줄이고 실제 성능을 보장하는 데 핵심적이다.
윌슨 하한(Wilson Lower Bound): — 소표본에서 관찰된 정밀도 추정의 불확실성을 보정하기 위한 통계적 하한 계산 방식이다. RuleChef는 규칙의 개발 셋 정밀도를 비교할 때 지원 수가 적은 규칙의 과대평가를 막기 위해 이 하한을 적용한다. 이로 인해 적은 매치 수로 높은 정밀도를 기록한 규칙이 과도하게 우위에 놓이는 현상을 완화한다.
grex: — 예제 문자열로부터 구조적 정규표현식 힌트를 생성하는 도구이다. RuleChef는 grex가 제안한 패턴을 LLM에 제공하여 구조적 규칙 후보를 과도한 암기 없이 빠르게 식별하도록 돕는다. grex 출력은 제약이 아니라 힌트로 사용되어 과적합 위험을 낮춘다.
관찰 모드(Observation Mode): — 기존 블랙박스 모델의 입출력을 규칙 학습의 감독 신호로 사용하는 운영 모드이다. RuleChef는 외부 모델의 응답을 주기적으로 수집해 규칙을 합성하고, 정밀도 기준을 충족하는 규칙으로 해당 쿼리들을 대체함으로써 추후 LLM 호출을 줄인다. 이 모드는 라벨이 없을 때도 규칙 기반 체계를 점진적으로 확장하는 수단이 된다.

RuleChef: LLM 지식을 사람 편집형 규칙으로 고정하는 프레임워크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드