텍스트 연결형 OpenIE로 다단계 환각 탐지

왜 중요한가

기존 환각 탐지에서 주장 단위 검증은 사실 구조를 설명하기 쉽지만 오류 위치를 정확히 찾기 어렵고, 스팬 단위 탐지는 위치는 찾지만 검증한 사실의 구조를 보존하지 못했습니다. Enoki는 하나의 텍스트 연결형 OpenIE 표현으로 두 출력을 만들며, HalluEntity에서 AUPRC 55.09, MuSHROOM에서 Span Coverage F1 52.07을 기록했습니다.

핵심 기여

텍스트에 고정한 관계 사실 표현

답변에서 추출한 주어·서술어·목적어 관계를 원문 스팬에 연결해, 같은 중간 표현으로 사실 검증과 환각 위치 특정을 수행합니다.

세 가지 추출 백엔드

LLM 기반 Enoki-LLM, spaCy 의존성 구문 규칙 기반 Enoki-Rule, ModernBERT-large 기반 Enoki-Encoder를 공통 검증·위치 특정 인터페이스에 결합합니다.

증분 사실 구성과 델타 투영

하나의 문장에서 거친 사실부터 점점 구체적인 사실을 쌓고, 근거가 없는 단계에서 새로 추가된 구간을 환각 스팬으로 투영합니다.

EnokiQA 데이터셋 공개

주장 단위 검증과 스팬 단위 위치 주석을 정렬한 장문 질의응답 데이터셋을 구축했으며, 라벨 3,990개와 비라벨 예시 19,594개를 포함합니다.

핵심 아이디어 이해하기

환각 탐지에는 두 가지 서로 다른 출력이 필요합니다. 주장 단위 검증은 “이 사실이 근거에 맞는가”를 판단하지만 답변의 어느 단어가 틀렸는지 놓칠 수 있고, 스팬 단위 탐지는 틀린 구간을 찾지만 그 구간이 어떤 주어·서술어·목적어 관계에 속하는지 설명하지 못합니다. Enoki는 답변을 관계 사실로 분해하면서 각 사실의 핵심 인자를 원문 구간에 계속 묶어 두는 방식으로 두 문제를 연결합니다.

이 구조는 검증 입력과 위치 출력의 연결을 별도 claim-to-span 정렬 모듈에 맡기지 않습니다. 각 관계 사실을 텍스트 가설로 바꾸어 NLI verifier에 입력하고, 근거 문맥에서 함의되지 않은 사실을 판정한 뒤 해당 사실의 객체 또는 증분 델타를 원래 답변의 스팬으로 되돌립니다. 따라서 하나의 중간 표현에서 해석 가능한 주장 판정과 세밀한 오류 위치가 함께 나옵니다.

방법론

Enoki는 답변 문장별 사실 추출, 근거 검증, 환각 스팬 투영의 순서로 처리합니다. 먼저 OpenIE 방식으로 스키마가 고정되지 않은 주어·서술어·목적어 트리플을 만들고, 환각과 관련된 인자는 답변의 원문 스팬에 맞춥니다. 이후 각 트리플을 텍스트 가설로 변환해 reference context와 비교하고, 검증에 실패한 사실의 객체 또는 증분 델타를 환각 구간으로 출력합니다.

긴 문맥은 모델의 최대 입력 길이에 맞춰 나누며, 연속 청크 사이에는 한 문장을 겹칩니다. 각 원자적 사실을 모든 청크에서 평가한 뒤 가장 높은 entailment 점수를 최종 점수로 사용하므로, 전체 문맥을 유지하면서 해당 사실과 가장 관련 있는 근거 조각을 선택합니다. 중립과 모순 확률의 합이 0.5를 넘으면 해당 사실을 환각으로 분류합니다.

Enoki-LLM은 CycleOIE의 트리플 추출 프롬프트에 증분 분해 지침 세 가지를 추가합니다. Enoki-Rule은 spaCy en_core_web_trf 의존성 구문 분석 결과에 35개 규칙을 적용해 학습 없이 텍스트 연결형 트리플을 생성합니다. Enoki-Encoder는 OpenIE6의 Iterative Grid Labeling 구조와 ModernBERT-large를 사용하며, 고정된 추출 행 순서에 의존하는 기존 손실 대신 예측 행과 정답 행의 비용 행렬을 만든 뒤 Hungarian assignment로 대응을 찾습니다.

Enoki-Rule의 규칙 수용 점수는 $S = F_1 + 0.25 imes cov$ 입니다. 여기서 $F_1$ 은 정답 트리플과 비교한 트리플 수준 F1이고, $cov$ 는 같은 주어·서술어 묶음에서 서로 다른 서술어 표면형을 회수한 정도입니다. 예를 들어 $F_1=0.80$ , $cov=0.60$ 이면 $S=0.95$ 가 되며, 두 값이 함께 높을수록 정확한 트리플과 다양한 표현을 동시에 회수한 규칙이 선택됩니다.

주요 결과

HalluEntity의 entity-level 평가에서 Enoki-LLM은 AUROC 79.70, AUPRC 55.09를 기록해 비교한 방법 중 가장 높은 성능을 냈습니다. 증분 프롬프트를 제거한 Enoki-LLM도 AUROC 78.11, AUPRC 54.78을 기록했으며, Enoki-Rule은 76.41과 46.81, Enoki-Encoder는 70.47과 44.25를 기록해 낮은 비용의 백엔드도 표준 OpenIE보다 높은 결과를 냈습니다.

Span-level 평가에서 Enoki-LLM은 MuSHROOM 52.07, PsiloQA 71.15의 Span Coverage F1을 기록했습니다. Enoki-Rule은 각각 49.18과 65.73, Enoki-Encoder는 46.96과 65.51을 기록해 LLM 추출보다 낮은 비용으로 위치 특정 성능의 상당 부분을 유지했습니다. RAGTruth에서는 데이터셋에 직접 맞춰 학습한 방법이 가장 강했지만, Enoki-LLM은 37.32로 경쟁력을 유지했고 Enoki-Encoder는 34.84를 기록했습니다.

Sentence-level 평가에서는 Enoki-Encoder가 RAGTruth에서 0.13초의 문장당 지연으로 F1 69.1%를 기록했으며, 비교 기준보다 4–10배 빠르게 실행됐습니다. Enoki-LLM은 문장당 지연이 비슷한 Claimify보다 9.8포인트 높은 F1 76.4%를 기록했습니다. 이 결과는 문장 전체의 이진 판정만 필요할 때에는 직접 NLI 방식도 경쟁력이 있지만, Enoki는 같은 처리 과정에서 구조화된 사실과 스팬 위치까지 얻는다는 점을 의미합니다.

EnokiQA 자동 주석을 사람 주석과 비교했을 때 문장 수준 F1은 0.867, 스팬 수준 F1은 0.569였습니다. 무작위 테스트 예시 100개에 대한 사람 간 문자 수준 Cohen’s κ는 0.580, 원시 일치율은 약 0.80이어서 장문 답변의 세밀한 스팬 주석 자체가 어려운 과제임을 나타냅니다.

기술 상세

Enoki의 입력은 생성 답변과 reference context이며, 출력은 검증된 관계 사실, 사실별 entailment·neutral·contradiction 판정, 그리고 환각으로 판단된 답변 스팬입니다. 답변은 spaCy로 문장 분할 후 문장별로 처리하고, 추출된 각 트리플을 자연어 가설로 바꿔 NLI verifier에 넣습니다. 문맥이 길면 최대 입력 길이의 청크로 나누고 한 문장씩 겹치며, 청크별 entailment 점수 중 최댓값을 사실의 최종 점수로 사용합니다.

증분 추출은 한 문장에 포함된 정보의 범위를 단계적으로 넓힙니다. 각 단계는 독립적으로 검증 가능한 트리플이어야 하며, 이전 단계와 비교해 새로 추가된 객체 또는 주어 구간이 unsupported이면 그 델타만 원문에 투영합니다. 이 방식은 “Montpellier에서 태어났고 1893년이다”라는 답변에서 “1893년”이 근거에 맞고 출생지가 틀린 경우, 연도까지 포함한 전체 문장을 환각으로 표시하지 않도록 합니다.

Enoki-Encoder는 입력 단어마다 라벨을 할당하는 고정 깊이 grid를 사용합니다. EnokiQA 개발 분할의 95% 문장을 포괄하도록 최대 추출 깊이를 14로 정했고, 1,995개 예시를 5,474개 문장과 36,865개 증분 트리플로 나누어 학습했습니다. 기존 row-wise cross-entropy는 정답 트리플이 다른 행에 나오면 패널티를 주지만, Hungarian Matching은 예측 행과 정답 행의 모든 쌍별 cross-entropy 비용을 비교해 가장 낮은 총비용 대응을 선택합니다.

EnokiQA는 영어 Wikipedia에서 구성했으며, 개발·테스트 분할은 각각 1,995개 라벨 예시로 이루어지고 7개 generator model에 걸쳐 균형을 맞췄습니다. 주석 파이프라인은 GPT-OSS-120B로 증분 트리플을 추출하고 Qwen3.5-9B NLI-style verifier로 전체 Wikipedia 문맥과 비교합니다. 검증기는 entailment, neutral, contradiction 확률을 내고 neutral과 contradiction의 합이 0.5를 넘는 트리플을 환각으로 처리합니다.

한계점

Enoki는 추출된 사실만 검증하므로 extractor가 중요한 명제를 생략하거나 여러 사실을 합치거나 지나치게 넓은 스팬을 만들면 verifier가 누락된 구조를 복구하지 못합니다. 증분 투영도 같은 사실의 여러 부분이 동시에 틀렸거나 오류가 서로 멀리 상호작용하는 경우 사람 주석보다 거친 스팬을 만들 수 있습니다. 현재 구현은 주로 문장별 분해에 의존해 대명사, 생략, 담화 수준 귀속 같은 문장 간 현상을 부분적으로만 처리하며, FastCoref를 적용한 효과도 데이터셋에 따라 개선과 소폭 하락이 갈렸습니다. 최종 판정은 verifier의 calibration과 견고성에도 의존하므로 추출기와 검증기 중 한 구성요소의 오류가 전체 claim-level·span-level 결과에 영향을 줍니다.

실무 활용

Enoki는 검색 근거가 있는 장문 답변에서 사실 단위의 검증 결과와 틀린 텍스트 구간을 함께 얻고자 할 때 사용할 수 있습니다. GitHub 저장소와 코드·데이터셋 링크가 제공되며, 정확도 우선의 LLM 추출부터 저지연 규칙·Encoder 추출까지 선택할 수 있습니다.

RAG 답변에서 근거가 없는 개체명·관계·수식어를 스팬 단위로 표시하는 품질 검사
장문 질의응답 시스템의 주장 단위 사실성 판정과 오류 구간 교정
LLM 추출 품질과 추론 비용 사이의 선택이 필요한 환각 탐지 파이프라인
EnokiQA를 활용한 claim-level 및 span-level 환각 탐지 모델 평가

코드 공개 여부: 공개

코드 저장소 보기

키워드

Open Information Extraction(개방형 정보 추출)Hallucination Detection(환각 탐지)Claim-level Verification(주장 단위 검증)Span-level Localization(스팬 단위 위치 특정)NLI(자연어 추론)Hungarian Matching(헝가리안 매칭)EnokiQA(이중 세분성 데이터셋)

용어 해설

개방형 정보 추출(Open Information Extraction): — 미리 정해진 관계 스키마 없이 문장에서 주어·서술어·목적어 형태의 관계 사실을 추출하는 방법입니다. Enoki는 추출된 사실을 원문 답변의 텍스트 구간에 계속 연결해, 사실 검증 결과를 정확한 환각 구간으로 되돌려 보냅니다.
주장 단위 검증(Claim-level Verification): — 생성 답변을 검증 가능한 사실 단위로 나눈 뒤 각 단위가 근거에 의해 뒷받침되는지 판정하는 방식입니다. 답변의 사실 구조를 해석하기 쉽지만, 분해 과정에서 수식어·시간 조건·관계가 빠지면 원래 문장과 다른 명제를 평가할 수 있습니다.
스팬 단위 위치 특정(Span-level Localization): — 답변 전체가 아니라 근거가 없는 단어나 구간의 정확한 위치를 찾는 평가 방식입니다. 편집과 교정에 유리하지만, 해당 구간이 어떤 사실 관계를 이루는지는 별도로 드러나지 않으므로 구조화된 검증 표현과 함께 사용할 필요가 있습니다.
자연어 추론(Natural Language Inference): — 근거 문장과 가설 문장을 비교해 함의(entailment), 중립(neutral), 모순(contradiction) 중 하나로 분류하는 방법입니다. Enoki는 각 추출 사실을 가설로 바꾸고, 중립과 모순 확률의 합이 0.5를 넘으면 해당 사실을 환각으로 판정합니다.
헝가리안 매칭(Hungarian Matching): — 예측된 추출 행과 정답 추출 행의 대응 순서를 고정하지 않고, 두 행 사이의 비용 합이 가장 작아지는 일대일 대응을 찾는 방법입니다. Enoki-Encoder는 추출 행의 순서가 달라도 올바른 사실이면 같은 학습 신호를 받도록 이 매칭을 손실 계산에 사용합니다.

텍스트 연결형 OpenIE로 다단계 환각 탐지

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

추론이 깊어져도 AI의 사실 오류는 사라지지 않는다

LLM 심판의 누락 탐지 한계

Spanda로 환각 탐지 지연을 136초에서 1.5ms로

LLM 심사보다 관계 검사가 연구 오류를 잘 잡는다

벤치마크를 넘어선 Frontier LLM의 실사용 팩트체크 불일치

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

추론이 깊어져도 AI의 사실 오류는 사라지지 않는다

LLM 심판의 누락 탐지 한계

Spanda로 환각 탐지 지연을 136초에서 1.5ms로

LLM 심사보다 관계 검사가 연구 오류를 잘 잡는다

벤치마크를 넘어선 Frontier LLM의 실사용 팩트체크 불일치