LegalHalluLens: Typed Hallucination Auditing 및 Calibrated Multi-Agent Debate를 통한 신뢰 가능한 법률 AI

합계 집계 지표가 유형별 실패 양상과 방향성을 가려 deployment 시 위험을 정확히 파악하기 어렵다. Typed hallucination profiles와 RDI를 통해 어떤 클라우에서 어떤 방향으로 잘못되었는지 구분하고, Calibrated multi-agent debate로 특정 유형의 오류를 효과적으로 감소시킨다.

1. 출발점은 계약 문서의 주장 유형을 four-category로 나누는 기초 개념이다. 숫자(numeric), 시간(temporal), 의무/권리(obligation/entitlement), 사실(factual)로 구분하고, 각 유형은 검증 방식이 다르며, 텍스트-기반 검증에서 동일한 성능지표가 항상 동일하게 해석될 수 없다는 한계를 확인한다. 2) 해결 원리는 각 유형별로 환각의 발생률을 구분해 관찰하는 Typed Hallucination Profiles를 구성하고, 이 프로파일을 바탕으로 방향성까지 포함하는 단일 Scalar 지표인 RDI를 정의한다. [입력] 계약에서 각 클라우에서의 claim 유형을 분류하고, [연산] 각 유형별 Hal_TP를 산출한 뒤, p(extra)와 p(missing)를 계산해 RDI를 얻고, [출력] RDI를 통해 모델 간 차이를 비교한다. [의미] aggregate 지표가 숨기는 방향성 차이와 특정 유형에서의 편향을 드러내 deployment 의사결정에 실질적 정보를 제공한다. 3) Typed Debate Pipeline은 baseline 추출에 대해 Skeptic이 각 유형별 실패 모드를 겨냥한 도전-question을 내고, Re-extractor/Verifer/Arbiter가 합의 또는 재추출로 교정한다. 불일치가 남는 경우 Judge가 최종 의사결정을 내리되 Add/Del gate를 통해 합의되지 않는 경우를 걸러낸다. 4) 성과는 비용 절감보다는 안전성과 신뢰성의 향상에 초점을 둔다. Debate를 통한 Fabrication 감소는 약 45%로 나타나고, 4B 활성 파라미터의 오픈 모델이 상용 API와 비슷한 합산 점수로 경쟁력을 보이며, per-category gains는 Obligation/Factual에서 가장 크게 나타난다.

단락1: 전체 접근 방식과 핵심 아이디어 → 입력 D(계약 문서), c_i(클레임 타입) 중 하나를 선택 → 출력: clause extraction 또는 not present 여부. [입력→연산→결과→의미] 주어진 계약에서 각 조항의 추출 결과를 평가하고 ground-truth CUAD에 비춰 정확성을 판단한다. 단락2: Typed Hallucination Profiles의 세부 구현 → 4 카테고리로 분류하고 Hal_TP를 카테고리별로 산출한다. [입력] 모델 출력과 ground-truth의 매칭 → [연산] 각 카테고리별 Hal_TP 계산 → [출력] Gap(M) = max Hal_TP - min Hal_TP → [의미] 카테고리 간 차이가 구성된다. 단락3: RDI 정의 및 활용 → RDI(M) = (p_extra − p_missing)/100; [입력] mismatch_type 중 missing_condition, extra_condition의 비율 → [연산] RDI 계산 → [출력] 방향성 신호. 단락4: Typed Debate Pipeline의 구성과 작동 원리 → 6역할의 파이프라인, 비대칭 게이트, 라우팅 규칙, 재추출 조건, 제약 조건(두 라운드). [입력] baseline 추출 → [연산] Skeptic의 도전 생성 및 게이트의 판단 → [출력] 최종 Judge의 판단. 단락5: 학습/실험 설정 및 구현 세부 → CUAD v1.0, 510 contract, 41 clause types, 3회의 독립 실행, 3종류의 모델, 32B/70B 오픈모델 및 4B-전용 모듈, ground-truth 평가 프로토콜, Appendices의 구성.

단락1: 주요 벤치마크 결과 → 네 모델의 Hal_TP 수치 50.9–56.5% 구간으로 집계. 3개 재실행 평균값. FAR/FRR/Acc도 보고.

단락1: 아키텍처 및 전체 흐름 → Typed Hallucination Profiles, RDI, Typed Debate Pipeline. [입력] D 및 c_i → [연산] 4범주 분류 및 Hal_TP/RDI 계산 → [출력] 프로파일 및 리스크 지표. 단락2: 핵심 메커니즘의 수학/알고리즘 기반 → RDI 정의, Hal_TP 계산, Gap 정의, Debate 파이프라인의 역할. 패턴: 입력 → 계산 → 결과 → 의미. 단락3: Prior Work 대비 차별점 → 기존 법률 홀루시네이션 벤치마크와의 차별점, 세 가지 기여. 단락4: 구현 및 학습 세부 → CUAD 매핑, ground-truth judge, external judge, Temperature=0, 32B/70B/4B MoEs 구조.

제시된 수치와 실험은 CUAD 기반의 영어(US) 상용 계약에 한정된다. 다른 관할권이나 문서 유형으로 일반화 여부는 추가 검증 필요. Experiment 2는 한 백본(gemma-4-26B-A4B)과 단일 ran으로 수행되었고, 프롬프트와 Debates의 일반성은 확장 연구 필요. 전체 평가 지표(Hal_TP, Hal_Gen, RDI) 값은 특정 Judgment 프로세스 및외부 Judge의 라우팅에 의존한다.