faithgate: 프롬프트나 모델 변경 시 LLM 응답의 근거 일치성을 CI에서 차단하는 회귀 게이트

커뮤니티 반응은 실무적 공감이 많은 편이고 프롬프트 변경으로 인해 의도치 않은 근거 이탈을 겪은 경험을 공유하는 댓글들이 다수 관찰되었다. 사용자는 외부 LLM 키 의존성과 완전 오프라인 모드의 낮은 탐지율을 우려했고 대체로 키 기반 판정의 정확성을 인정하는 분위기였다. 또한 간단한 SQLite 단일 파일 구성과 MIT 라이선스라는 구현 선택이 빠른 CI 통합과 실험적 사용을 용이하게 한다는 점에서 호응을 얻었다.

• 기준선(suite)을 설계할 때 대표적 홀루시네이션 유형(날짜 변경·엔티티 교체·근거 없는 결합)을 포함하여 회귀 감지 커버리지를 확보할 것을 권장한다.
• 오프라인만으로 신뢰를 기대하지 말고 가능하면 외부 LLM 키를 이용한 채점 모드를 도입해 점검 정확도를 높일 것을 권장한다.
• 질문 재표현에 대응하려면 paraphrase 케이스를 추가하거나 케이스 생성 파이프라인을 만들어 케이스 커버리지를 확장해야 한다.

Faithfulness metric

— LLM 응답이 제공된 근거 문서에 얼마나 충실한지를 수치로 평가하는 지표로서, 입력 문맥과 모델 출력을 비교하여 사실 일치 여부를 판단하고 회귀 검출이나 품질 모니터링에 사용된다.

Regression gate

— 프로덕션 변경(프롬프트·모델·구성 등)으로 인해 성능 저하나 비의도적 행동이 발생하면 CI(지속적 통합)가 실패하도록 설계된 테스트 계층으로서, 기준선 점수와 비교해 지표 하락을 탐지한다.

Natural Language Inference (NLI)

— 두 문장 사이의 함의관계(entailment/contradiction/neutral)를 판정하는 기법으로서, claim 추출 후 문서 근거와의 논리적 일치 여부를 판단하는 내부 검증 단계에 활용된다.