통계적 자기일관성: LLM 추정치의 정합성 검증

대형 언어 모델이 콘텍스트 기반 추론을 할 때 내부적으로 일관된 확률 추정을 만들면 모델 신뢰성이 높아진다. 본 논문은 모델이 부분집단에 관한 지식을 가지고 있음에도 불구하고 그 지식을 전체 추정으로 일관되게 통합하지 못하는 현상을 드러내어 평가와 배포 시 숨겨진 오류를 발견할 방법을 제시했다. 이 결과는 레퍼런스가 없어도 모델 내부의 통계적 정합성을 점검하는 새로운 무참조(reference-free) 평가 축을 제공한다.

LLM의 in-context learning은 주어진 프롬프트(맥락)를 조건으로 하는 확률적 추정이라고 해석될 수 있다. 이 해석이 성립한다면 모델의 조건부 추정들은 확률론적 정리들, 특히 전확률의 법칙(law of total probability)을 만족해야 하며, 서로 다른 분할 수준에서 얻은 조건부 분포들을 적절히 가중합하면 모집단 주변분포가 복원되어야 한다. 본 논문은 이 기본 정합성 원리를 LLM의 추정 행태를 진단하는 기준으로 삼았다. LLM은 개별 서브집단에 대한 정보는 내부에 보유하고 있을 가능성이 있으나 그 정보를 직접적으로 전체 수준의 응답으로 전파하지 못하는 경향을 보인다. 이를 확인하기 위해 모집단을 단계적으로 세분화한 뒤 각 서브집단에 대해 모델에게 추정치를 묻고, 해당 서브집단의 사전확률로 가중합해 전체 추정치를 재구성하는 접근을 취했다. 만약 모델이 실제로 정합적이라면 직접 묻는 전체 수준의 추정과 재구성된 추정은 일치해야 한다. 세분화된 응답들이 합성되어 더 인간 기준에 근접하는 경우가 빈번하게 발견되었고, 이 현상은 모델이 부분집단 수준의 지식을 보유하지만 그 지식을 전체로 통합하는 과정에서 정보 유실 또는 편향이 발생함을 시사한다. 논문은 이러한 현상을 'macro fallacy'로 규정하고, 프롬프트 설계(예: persona prompting)의 변화가 이 간극을 일부 줄일 수 있음을 보였다. 결과적으로 통계적 자기일관성은 모델 평가의 보완적 관점으로서 의미가 크다.

전체 접근은 모집단을 이진 트리 구조로 재귀 분할하는 스캐폴드를 사용해 서브집단을 생성하고, 각 노드(서브집단)에 대해 자연어로 서술된 조건을 주어 LLM에 확률 추정치를 요청하는 방식이다. 그런 다음 각 서브집단에 대한 추정치들을 해당 서브집단의 사전확률로 가중합하여 루트 노드(모집단)에 대한 재구성된 추정치를 얻는다. 이 과정을 분할의 세분성(트리 깊이)을 바꿔가며 반복해 직접 묻는 모집단 추정과 비교한다. 알고리즘적 세부는 트리 생성 규칙, 서브집단 서술의 언어적 표현 방식, 모델 질의 반복 횟수 및 응답 집계 방법을 제어하는 것으로 구성된다. 트리 구조는 문제 도메인 특성에 맞게 설계되며, 페르소나 기반 서술을 포함해 프롬프트 변형을 실험 변인으로 사용한다. 모델 응답은 확률·비율 형태로 표준화되어 수집되며, 여러 분할에서 얻은 조건부 추정의 가중합과 직접 응답 사이의 편차를 정량적으로 비교한다. 실험 설계는 문제 영역(예: 인구 통계적 비율 추정 등)과 frontier 모델들의 응답을 포괄하도록 구성되었다. 또한 트리 구조와 서브집단 정의를 다양하게 바꾸어 결과의 일관성(robustness)을 검증했다. 일부 실험에서는 암시적 프롬프트(implicit prompting)를 적용해 서브집단 지식의 전파를 향상시키는지 여부를 평가했다.

여러 문제 도메인과 선도 모델들에 대해 수행한 실험에서 기본적인 확률 정합성 규칙이 광범위하게 위반되는 양상이 관찰되었다. 구체적으로는 분할 수준과 무관하게 재구성된 모집단 추정과 직접 모집단 수준에 대한 모델 응답 간에 유의한 불일치가 자주 발생했다. 이 결과는 모델이 서브집단 지식을 내부에 보유할 수 있으나 이를 전체 추정으로 일관되게 전달하지 못한다는 결론을 뒷받침한다. 실험 중 페르소나 프롬프트를 사용해 서브집단 응답을 수집한 경우 특정 조건에서 재구성된 추정이 직접 응답보다 인간 레퍼런스와 더 가까운 경향이 반복적으로 관찰되었다. 이 현상을 논문은 'macro fallacy'로 명명했고, 해당 패턴은 트리 구조와 과제 유형을 바꾸어도 지속적으로 나타났다. 일부 실험에서는 암시적 프롬프트를 도입했을 때 이 간극이 부분적으로 회복되는 효과가 보고되었다. 이상의 결과는 통계적 자기일관성이 모델 평가를 위한 유효한 무참조 기준이 될 수 있음을 시사한다. 논문은 이 기준을 통해 모델의 내부 정보 보유와 정보 집계 능력 사이의 분리된 진단이 가능하다고 결론지었다. 또한 연구에서 사용한 프로토콜과 코드가 공개되어 후속 연구와 재현 연구에 기여할 수 있도록 했다.

전체 접근은 확률론적 정합성 원리, 특히 전확률의 법칙을 평가 축으로 채택한다. 전확률의 법칙 원문은 P(A)=sum_i P(A|B_i)P(B_i)이며 여기서 A는 모집단 수준의 사건, {B_i}는 서로 배타적이고 합이 1인 부분집단 분할이다. 변수 의미는 A가 관심 대상 사건(예: 특정 특성 보유 여부), B_i는 모집단을 나눈 서브집단의 사건이며 P(B_i)는 해당 서브집단의 사전확률(부분집단 비율)이다. 계산 흐름은 각 서브집단에 대해 모델이 제공한 조건부 확률 P(A|B_i)를 수집하고, 각 값에 사전확률 P(B_i)를 곱해 합산하면 루트 수준의 재구성된 P(A)가 생성되는 과정이다. 작은 숫자 예시로 두 분할 B1=0.6, B2=0.4이고 모델이 P(A|B1)=0.5, P(A|B2)=0.2를 반환하면 재구성된 P(A)=0.60.5+0.40.2=0.3+0.08=0.38이 된다. 해석은 재구성값이 직접 묻는 P(A)와 일치해야 전확률의 법칙이 만족되며, 불일치는 모델의 집계 전파 실패를 의미한다. 알고리즘적 세부는 트리 생성 규칙과 서브집단 서술 방식에 민감하므로 실험에서는 여러 트리 형태(균등 분할·도메인 기반 분할 등)와 표현 변형을 비교했다. 서브집단 서술은 자연어로 인간이 이해할 수 있게 기술되며 동일한 의미를 유지하도록 표준화 과정을 거쳤다. 응답 집계는 모델의 출력 형태(확률·비율 표기)를 표준화한 후 수치적으로 처리했고, 통계적 유의성 검증을 위해 반복 샘플링과 도메인별 반복 실험을 수행했다. prior work 대비 차별점은 기존 평가들이 주로 성능 점수나 정답 기준과의 일치에 초점을 맞춘 반면, 본 연구는 모델 내부의 확률적 정합성 자체를 무참조로 평가한다는 점이다. 이 차별점은 특히 레퍼런스 데이터가 없거나 바이어스 검증이 필요한 상황에서 유용하며, 모델의 내부 지식 분포와 집계 메커니즘을 분리해 진단할 수 있게 한다. 구현상으로는 다양한 프롬프트 변형과 persona prompting을 체계적으로 적용해 그 효과를 정량화했다.