alizahidraja/isnad 다중 에이전트 지식 시스템용 주장 수준 출처 추적

커뮤니티 반응은 대체로 관심과 실용성에 대한 의문이 혼재된 형태였다. 다수는 주장 수준의 출처 추적이 불투명한 오류를 드러내는 데 유용하다고 평가했으며 저장소와 논문 링크 제공으로 재현 가능성이 높아진 점을 긍정적으로 봤다. 동시에 일부는 전달자 채점 방식의 계량화, 교차 검증에 필요한 독립 소스 확보, 성능 오버헤드와 같은 실무적 난제를 지적하며 추가적인 구현 사례와 벤치마크를 요구했다.

• 첫 단계로 각 주장에 고유 식별자를 부여하고 파이프라인의 모든 구성요소가 그 식별자를 유지·전달하도록 계측을 설계하라.
• 전달자 채점은 과거 정밀도, 권한·허가 메타데이터, 샘플 검증 결과 등 재현 가능한 지표를 기반으로 삼아 점진적으로 보정하라.
• 교차 검증을 도입할 때는 외부 독립 소스를 우선 확보하고 일관된 병합 규칙을 도입해 교차 체인의 일치도를 수치화하라.

이즈나드(전승 사슬)(Isnād)

— 이즈나드는 전승된 주장이나 텍스트에 대해 전달자 사슬을 붙여 각 전달자의 신뢰도를 기반으로 주장 전체의 신뢰를 판단하는 전통적 검증 체계이다. 각 전달자에 대해 신뢰성·정확성 같은 속성을 평가하고 사슬 중 가장 약한 고리를 기준으로 전체 신뢰도를 축소하는 방식으로 작동한다. 본 글은 이 구조를 에이전트 파이프라인의 주장 단위 출처 추적에 대응시키는 설계를 중심으로 다룬다.

주장 수준의 출처 추적(Claim-level Provenance)

— 주장 수준의 출처 추적은 문서나 응답 전체가 아니라 개별 주장 단위로 그 주장을 생성한 경로와 매개체를 연결해 기록·평가하는 접근법이다. 입력 소스, 중간 추출기 및 모델 출력을 하나의 전송자 체인으로 취급하고 각 체인을 독립적으로 채점해 교차 확인을 수행한다. 이 방식은 최종 응답이 유창하더라도 특정 주장이 신뢰할 수 없는 경우를 탐지하려는 목적에서 중요하다.

리잘(전달자 신뢰도 평가)(Rijāl)

— 리잘은 각 전달자(transmitter)의 신뢰성·정밀도를 등급화해 전승 사슬에서 개별 요소의 신뢰도를 수치화하는 개념이다. 실무에서는 전달자의 과거 정확도, 권한·허가 정보, 검증 기록 등을 지표로 삼아 점수를 산출하고 이 점수를 합산해 전체 주장 신뢰도를 계산한다. 글에서는 이 개념을 에이전트 구성요소의 평판·성능 지표로 매핑하는 방안을 제시한다.

교차 사슬 상호확증(Cross-chain Corroboration)

— 교차 사슬 상호확증은 동일 주장에 대해 서로 독립적인 전달자 체인을 여러 개 구축하고 이들 체인의 합의 정도를 통해 주장 신뢰도를 상향 조정하는 절차이다. 서로 다른 스크레이퍼·추출기·모델 조합으로 생성된 체인을 비교해 일치도가 높으면 신뢰를 강화하고 불일치가 크면 신뢰를 낮춘다. 이 방식은 단일 체인의 편향이나 실패가 전체 결과를 오염시키는 위험을 완화한다.