내가 모르는 것이 무엇인지 안다: 다중 증거 확률 추론을 위한 잠재 사후 요인 모델

현실 세계의 의사결정은 노이즈가 섞이거나 서로 충돌하는 여러 증거를 종합해야 합니다. 이 논문은 비정형 데이터의 불확실성을 수학적으로 정교하게 통합하여, AI가 단순히 답을 내는 것을 넘어 자신의 판단이 얼마나 확실한지 정확하게 측정하는 방법을 제시하여 고위험 의사결정의 신뢰성을 높입니다.

기존의 신경망 모델은 여러 데이터를 하나로 뭉쳐서 처리할 때 각 데이터가 가진 불확실성을 명시적으로 계산하지 못한다. 이로 인해 모델이 틀린 답을 내면서도 지나치게 확신하는 '과잉 확신' 문제가 발생하며, 이는 의료나 금융 같은 고위험 분야에서 치명적인 오류로 이어질 수 있다.

본 논문은 VAE(Variational Autoencoder)를 사용하여 각 증거를 잠재 공간의 확률 분포로 먼저 인코딩한다. 이때 분포의 분산(Variance)은 해당 증거가 얼마나 모호하거나 신뢰할 수 없는지를 나타내는 척도가 된다. 이렇게 얻은 개별 분포들을 '소프트 요인(Soft Factor)'으로 변환하여 확률 회로인 SPN(Sum-Product Network)에 입력한다.

SPN은 곱셈(독립성 모델링)과 덧셈(혼합 모델링) 연산을 통해 여러 증거 간의 관계를 수학적으로 엄밀하게 통합한다. 결과적으로 모델은 단순히 가장 확률이 높은 답을 고르는 것이 아니라, 모든 증거의 불확실성을 고려한 최종 사후 분포를 산출한다. 이를 통해 AI가 자신의 무지를 스스로 인지하고 설명할 수 있는 '신뢰 가능한 추론'이 가능해진다.

LPF 프레임워크는 증거 검색, VAE 인코딩, 요인 변환, 증거 통합의 4단계로 구성된다. 먼저 질의와 관련된 증거들을 FAISS 벡터 저장소에서 검색한 뒤, VAE 인코더를 통해 각 증거를 평균($\mu$)과 표준편차($\sigma$)를 가진 가우시안 분포로 변환한다.

핵심 메커니즘인 잠재-요인 매핑은 Monte Carlo 적분을 사용한다. [VAE 사후 분포에서 $M$개의 샘플 추출 $\rightarrow$ 디코더 통과 $\rightarrow$ 각 샘플의 예측 분포 평균 계산 $\rightarrow$ 소프트 요인 생성] 과정을 거친다. 이 과정에서 불확실성이 높은(분산이 큰) 증거는 지수적 가중치 조절을 통해 영향력이 약화된다.

통합 단계에서는 두 가지 경로를 제공한다. LPF-SPN은 생성된 요인들을 SPN 구조에 부착하여 정확한 한계 추론(Marginal Inference)을 수행한다. 반면 LPF-Learned는 품질 네트워크와 일관성 네트워크를 통해 증거 간의 상관관계를 학습하고 잠재 공간에서 가중 평균을 구하여 결과를 도출한다.

학습은 2단계로 진행된다. 1단계에서는 증거 수준의 레이블을 사용하여 VAE 인코더와 디코더를 공동 학습시킨다. 2단계(LPF-Learned 전용)에서는 인코더/디코더를 고정한 상태에서 개체 수준의 레이블을 사용하여 증거 통합 가중치를 결정하는 어그리게이터 네트워크를 학습시킨다.

세무 준수(Compliance) 도메인에서 LPF-SPN은 97.8%의 정확도와 1.4%의 ECE를 기록했다. 이는 BERT(97.0% 정확도, 3.2% ECE)보다 정확할 뿐만 아니라 훨씬 더 잘 보정된 결과를 보여준다. 특히 EDL(Evidential Deep Learning) 기반 모델들이 28~43%의 낮은 정확도로 실패한 것과 대조적이다.

FEVER 벤치마크 실험 결과, LPF-SPN은 99.7%의 정확도를 달성하며 Llama 3.3-70B(44.0%)나 Qwen3-32B(62.0%) 같은 대형 언어 모델들을 압도했다. LLM들은 74~87%에 달하는 극심한 보정 오차를 보였으나, LPF는 1.2% 이하의 오차를 유지하며 실질적인 추론 능력을 입증했다.

효율성 측면에서 LPF-SPN은 질의당 평균 14.8ms의 추론 시간을 기록하여 BERT(134.7ms)보다 9.1배, LLM들보다는 60~200배 이상 빠른 속도를 보였다. 이는 구조화된 확률 추론이 대규모 신경망보다 실시간 응용 및 고처리량 환경에 더 적합함을 시사한다.

LPF는 VAE의 연속적인 잠재 표현과 SPN의 이산적인 확률 논리를 Monte Carlo 샘플링으로 연결하는 하이브리드 아키텍처다. VAE 인코더는 Sentence-BERT 임베딩(384차원)을 입력받아 64차원의 대각 가우시안 사후 분포를 생성하며, 재매개변수화 기법(Reparameterization Trick)을 통해 엔드투엔드 학습을 지원한다.

소프트 요인 생성 시 신뢰도 가중치 $w(e) = \text{sigmoid}(-\alpha \cdot \text{mean}(\sigma))$를 적용한다. [인코더 출력 분산 $\sigma$ $\rightarrow$ 평균 계산 및 음수 스케일링 $\rightarrow$ 시그모이드 통과 $\rightarrow$ 0~1 사이 가중치] 순으로 계산되며, 이는 불확실한 증거의 로그 가능도를 템퍼링(Tempering)하여 분포를 평탄하게 만드는 효과를 준다.

LPF-SPN은 분해 가능성(Decomposability)과 완결성(Completeness) 조건을 만족하는 방향성 비순환 그래프(DAG) 구조를 활용한다. 이를 통해 변수 소거법이나 신념 전파법 없이도 네트워크 크기에 선형적인 시간 복잡도로 정확한 한계 확률을 계산할 수 있는 계산적 이점을 확보했다.

이론적으로 LPF는 7가지 정리를 통해 성능을 보장한다. 특히 정리 1(Calibration Preservation)은 개별 요인이 보정되어 있다면 전체 통합 분포의 ECE 상한이 효과적인 샘플 수의 제곱근에 반비례하여 감소함을 증명하며, 정리 7은 예측 분산을 에피스테믹(Epistemic)과 알레아토리(Aleatoric) 불확실성으로 엄밀하게 분해할 수 있음을 보여준다.

현재 구현은 범주형 예측으로 제한되어 있어 연속적인 회귀 문제에는 직접 적용할 수 없다. 또한 증거 간의 조건부 독립을 가정하므로, 증거들 사이에 강한 인과 관계나 종속성이 존재하는 경우 추론의 정확도가 떨어질 수 있다. 마지막으로 정적인 증거만을 다루기 때문에 시간에 따른 증거의 가치 하락을 반영하지 못한다.