Veritas: AI 에이전트를 위한 인식론적 신뢰도 구조 프레임워크

실용적 조언

도메인 특화 데이터를 다룰 경우 모순 탐지 임계값(0.48)을 해당 분야의 코퍼스에 맞춰 재조정하여 사용하라.
증거의 성격에 따라 수학적 증명은 감쇠율을 0으로 설정하여 지식의 영속성을 보장하라.

섹션별 상세

AI 에이전트의 주장에 다차원 신뢰도 벡터를 도입했다. 모든 클레임은 신뢰도 값 외에도 최적 소스 제거 시의 신뢰도 하락폭인 취약성(Fragility), 증거 노후화에 따른 페널티, 소스 다양성을 함께 저장한다. 이를 통해 에이전트가 단순히 답변을 내놓는 것을 넘어 해당 정보가 얼마나 잘 뒷받침되고 있는지 구조적으로 파악할 수 있다.

python

1 - prod(1 - w_i)

독립적인 소스들의 신뢰도를 중복 계산 없이 결합하는 Noisy-OR 풀링 수식

독립적인 증거들이 결합될 때 신뢰도가 강화되는 방식을 Noisy-OR 풀링으로 구현했다. 1 - prod(1 - w_i) 공식을 사용하여 상관관계가 없는 소스들이 결합될 때 신뢰도가 복리로 증가하되, 동일한 소스가 중복 계산되지 않도록 처리한다. 이 방식은 서로 다른 출처의 증거가 일치할 때 에이전트의 확신을 정교하게 높여주는 역할을 한다.

정보의 유형에 따라 차등적인 시간적 감쇠 모델을 적용했다. 수학적 증명(Mathematical)은 감쇠율이 0으로 영구적이지만, 일화적 증거(Anecdotal)는 2년, 경험적 증거(Empirical)는 10년의 반감기를 가지도록 지수 함수적 감쇠를 설정했다. 이는 시간이 지남에 따라 낡은 정보의 영향력을 자동으로 줄여 에이전트의 지식을 최신화하는 데 기여한다.

문장 임베딩을 활용해 의미론적 모순을 탐지하는 시스템을 구축했다. sentence-transformers의 all-MiniLM-L6-v2 모델을 사용하며, 코사인 유사도 임계값을 0.48로 설정하여 어휘가 다르더라도 의미가 상충하는 주장을 잡아낸다. 실험 결과 이 임계값에서 관련성 있는 문장 쌍과 실제 모순되는 문장 쌍을 가장 효과적으로 구분해냈다.

용어 해설

노이지-OR 풀링(Noisy-OR Pooling): — 여러 독립적인 증거가 결합될 때 전체 신뢰도를 계산하는 확률 모델이다. 각 증거가 독립적으로 결론을 지지할 확률을 1에서 뺀 값들의 곱을 다시 1에서 빼는 방식(1 - prod(1 - w_i))을 사용하여, 상관관계가 없는 소스들이 중복 계산 없이 신뢰도를 강화하도록 설계되었다.
신뢰도 벡터(Confidence Vector): — AI 에이전트의 주장에 대해 단순 수치가 아닌 다차원적인 신뢰도를 부여하는 구조이다. 값(Value), 취약성(Fragility), 노후화 페널티(Staleness Penalty), 소스 다양성 등을 포함하여 증거의 질과 유효 기간을 체계적으로 관리한다.
시간적 감쇠(Temporal Decay): — 시간 경과에 따라 증거의 유효성이 떨어지는 현상을 수학적으로 모델링한 것이다. 수학적 증명은 감쇠율이 0인 반면, 일화적 증거는 약 2년의 반감기를 가지는 등 정보의 유형에 따라 지수 함수적으로 신뢰도를 차등 삭감한다.
의미론적 모순 탐지(Semantic Contradiction Detection): — 서로 다른 어휘를 사용하더라도 의미상 상충하는 주장을 찾아내는 기술이다. sentence-transformers 모델을 활용해 코사인 유사도 임계값 0.48을 기준으로 '운동은 심장을 강화한다'와 '신체 활동은 심혈관에 이득이 없다' 같은 모순 관계를 식별한다.

언급된 도구

veritas-epistemic추천

AI 에이전트의 인식론적 신뢰도 및 증거 관리 프레임워크

sentence-transformers추천

의미론적 모순 탐지를 위한 문장 임베딩 생성

언급된 리소스

GitHubVeritas GitHub Repository