faithgate: 프롬프트 신뢰성 회귀 검사(PyTest 스타일) 저장소

작성자는 반복되는 프롬프트 회귀 문제를 해결하기 위해 faithgate를 직접 구축했고 데모와 단위테스트를 통해 주요 주장과 약점을 투명하게 공개했다. 오프라인 모드의 검출률(20건 중 9건 검출)과 데모에서의 점수 하락 수치가 README와 테스트에 포함돼 검증 가능한 근거가 제시됐다. 이러한 사실 중심의 공개 방식은 도구의 신뢰도와 한계를 함께 제공하는 접근으로 판단된다.

• 프롬프트 회귀를 방지하려면 질문·문맥·정답으로 구성된 케이스 스위트를 유지하고 변경 시 베이스라인과 자동 비교하도록 CI에 통합해야 한다. 작성자는 판정자와 메트릭 버전이 변경되면 비교 결과의 의미가 달라지므로 실행 매니페스트에 판정자 정보와 스위트 해시를 기록해 판정자 변경을 탐지하도록 할 것을 권고했다. 또한 오프라인 키리스 모드는 약점이 있으므로 사내 보안 정책이나 비용 문제로 외부 API를 쓸 수 없는 경우 제한점을 인지하고 추가 수작업 라벨링으로 보완해야 한다.

검색 증강 생성(RAG)

— 검색 증강 생성(RAG)은 외부 문서 집합에서 관련 컨텍스트를 검색해 LLM의 입력으로 주입한 뒤 모델 출력을 생성·정렬하는 방식이다. 이 방식은 모델의 기억에 의존하지 않고 최신 또는 긴 문서를 활용해 사실성(faithfulness)을 향상시키는 목적이 있다. faithgate 맥락에서는 검증용 코퍼스에서 의도적 허위 문장을 넣어 탐지 성능을 평가하는 데 활용된다.

RAGAS 메트릭(RAGAS)

— RAGAS는 텍스트 생성의 사실성(faithfulness)을 수치화하는 메트릭 집합으로, 모델 응답과 기준 문서 간 정합도를 계산해 점수를 반환한다. 이 프로젝트에서는 RAGAS가 내부 메트릭 연산을 담당해 각 케이스의 신뢰성 점수 산출에 사용되었다. 점수 차이를 기반으로 베이스라인 대비 회귀 여부를 판정하는 핵심 기준으로 작동한다.

거부 응답(유보)(Abstention)

— abstention은 판정자가 주어진 질의에 대해 신뢰성 판정을 내리지 못할 때 그 결과를 '유보'로 기록하는 동작을 뜻한다. faithgate는 유보를 0.0으로 환산하지 않고 별도로 저장해 잘못된 패널티를 피하도록 설계됐다. 유보 기록은 판정자의 오류 모드와 비교 기반 검증 신뢰도를 보존하는 데 중요하다.

Fail-closed 동작(Fail-closed)

— Fail-closed는 검증 파이프라인에서 불확실하거나 검증 불가 상황이 발생하면 통과를 허용하지 않고 차단 상태를 유지하는 정책이다. faithgate는 매칭 사례가 없거나 스코어 계산이 실패하면 자동으로 실패로 처리해 위험한 변경이 배포되지 않도록 했다. 이 방식은 잘못된 통과(false negative)를 줄이는 방향으로 설계된 안전 우선 정책이다.