언어 모델 결합의 유효성 한계와 공동 실패 상한: 67개 프런티어 모델에 대한 라우팅·투표·MoA 분석

이 논문은 여러 모델을 조합하는 라우팅·투표·Mixture-of-Agents 방식이 실무에서 기대만큼 성능을 개선하지 못하는 근본적 이유를 규명한다. 여러 모델이 동일 질의에 대해 모두 틀리는 비율 β가 모든 선택 정책의 정확도 상한 1−β를 결정하므로, 기존의 평균 쌍별 오차 상관 ρ만으로는 실제로 얻을 수 있는 이득을 판단할 수 없다. 라우터를 배포하기 전에 단일 등급의 검증 집합에서 Clopper–Pearson 하한을 계산하면 어떤 정책도 초과할 수 없는 최대 이득을 사전에 확증할 수 있다.

대형 언어 모델 풀을 합치려는 목적은 하나의 모델보다 더 많은 질의에서 정답을 얻기 위함이다. 그러나 모든 구성원이 동일 질의에서 동시에 틀리는 사건이 존재하면 어떤 정책도 그 사건에서는 틀릴 수밖에 없어 정책의 정확도는 그 사건의 보완인 1−β로 상한된다. 이 논문은 이 상한이 라우팅, 투표, 캐스케이드 같은 모든 '멤버 답안을 출력하는' 정책에 공통적으로 적용된다는 점을 출발점으로 삼는다. 다음으로 기존 실무에서는 모델 간 평균 쌍별 오류 상관 ρ를 다양성의 진단으로 사용했으나, ρ는 쌍단위 통계만 포착해 세 지점 이상에서 동시에 실패하는 고차원 꼬리 의존성이나 공통모드 원자를 식별하지 못한다. 이로 인해 Gaussian copula처럼 하한 꼬리 의존성이 0인 모델은 실제 관측된 공동 실패 꼬리를 과소평가한다. 결과적으로 실무자는 학습된 라우터를 통해 오라클 이득의 대부분을 회수할 수 없을 때가 많다. 이는 라우터 입력(예: 쿼리 프롬프트)이 '어떤 모델이 맞을지'를 예측할 충분한 신호를 제공하지 않거나 풀 전체가 동일 질의에서 함께 실패하는 β가 이미 크기 때문이다. 따라서 오케스트레이션의 실효성은 모델 수나 평균 상관보다 공동 실패 꼬리와 쿼리 수준의 라우팅 신호에 의해 좌우된다.

문제는 각 질의 t에 대해 m개의 모델이 생산하는 정답/오답의 이진 행렬로 정식화되며, 라우팅 정책 π는 유형 t에 따라 모델을 선택하는 확률분포로 정의되었다. 비용과 품질을 동시에 고려하는 경제적 목적함수를 도입해 달러당 정답률 또는 예산 제약 하의 품질 최대화를 최적화 문제로 전환했다. 이 프레임에서 섀도우 프라이스 λ_B가 도출되어 예산 제약 하의 최적 선택 규칙을 단순화했다. 공동 실패율 β는 관측된 모든-오답 횟수 K와 표본 크기 n으로부터 Clopper–Pearson 하한 β_lo(K,n,δ)를 계산해 유의수준 δ로 신뢰구간을 제공했다. 이 하한을 이용해 어떤 멤버-출력 정책도 Acc−a_sb ≤ (1−β_lo)−a_sb를 만족함을 보였고, 이로써 사전적 '$0 인증서'가 만들어졌다. 통계적 보정으로는 이진 정답 지표의 단순 Pearson 상관 대신 테트라코릭 상관을 사용해 잠재 연속 상관을 추정했고, 이를 바탕으로 단일요인 및 전체 Σ 기반 Gaussian copula를 피팅해 몬테카를로로 모든-오답 사건 확률을 추정했다. 추가로 Clayton copula 대조와 공통충격 혼합(simulation) 실험으로 꼬리·공통모드 기원을 분리했다.

15개 모델의 포화(multi-domain mix)와 난이도 높은 단일 도메인(MMLU-Pro)에서 오라클 이득 G는 유의하게 양수로 관측되었으나 실제 학습된 라우터는 그 이득의 거의 대부분을 회수하지 못했다. 15모델 포화에서 실현 가능한 라우터 이득 비율은 약 9% 수준으로 신뢰구간이 0을 포함했고, 이는 프롬프트가 쿼리별로 어떤 모델이 맞을지를 판별하는 신호가 약함을 시사한다. 시장 규모 67모델 풀의 MATH-500에서는 테트라코릭 보정에도 불구하고 관측된 공동 실패율 β=0.052가 단일요인 Gaussian copula가 예측하는 β_sf=0.021보다 약 2.5배 크며, 전체 Σ 기반 Gaussian copula도 β_full≈0.023으로 관측치를 과소평가했다. 실행채점(code_contests)과 자유응답 수학 시험에서도 유사한 공동 실패 꼬리가 발견되었고 그 크기는 도메인과 형식에 따라 달라졌다. 형식 통제 실험에서 동일한 GPQA-Diamond 문항을 multiple-choice와 free-response로 비교했을 때 형식만 바꿔도 공동 실패 꼬리가 열려 β가 multiple-choice에서는 거의 0에 가깝던 것이 free-response에서 β≈0.127로 증가해 레짐이 형식에 의해 결정됨을 보였다.

전체 아키텍처는 질의별 타입 분포 p(t)와 각 모델의 타입별 품질 q_i(t), 가격 c_i를 입력으로 하는 할당 문제로 구성되었다. 라우팅 정책 π는 타입 t를 입력으로 모델에 할당하는 확률분포이며 가치 V(π)=E_t[Σ_i π(i|t) q_i(t)]와 비용 K(π)=E_t[Σ_i π(i|t) c_i]로 정의된다. 예산 제약을 라그랑주 승수로 처리하면 단일 섀도우 프라이스 λ_B가 등장해 per-query bang-for-buck 규칙이 도출되었다. 공동 실패율 β는 각 질의에서 모든 모델이 틀리는 사건의 확률로 정의되며, 관측된 모든-오답 카운트 K와 샘플 수 n이 주어지면 Clopper–Pearson 방법으로 β_lo(K,n,δ)를 계산해 신뢰구간을 얻었다. 수학적 항등 V^o = 1−β와 G = Pr[single-best wrong]−β를 사용해 오라클 이득의 성분을 분리했고, 이로써 β가 오라클 이득에 미치는 직접적 영향을 정량화했다. 종속성 모델링에서는 이진 관측의 잠재 정규 가정으로부터 테트라코릭 상관을 추정해 Gaussian copula를 피팅했다. 피팅된 상관으로 몬테카를로 시뮬레이션을 통해 모든-오답 확률을 추정하고, 전체 Σ 행렬을 PSD로 투영한 뒤 재시뮬레이션해 single-factor와 full-Σ 예측을 비교했다. 추가적으로 Clayton copula와 공통충격 혼합 모형을 도입해 꼬리 과소추정의 원인을 공통모드 원자와 꼬리 의존성 중 어느 쪽에서 찾을 수 있는지 대조했다.

논문은 프로그램적으로 채점 가능한 검증 가능한 태스크에 주로 의존해 비판적 부분에서 인간 판정의 주관성이 제거되었으나, 열린형 질의의 판정은 LLM 판정자 또는 휴먼 저지가 필요할 경우 편향이 개입할 소지가 있다. 공동 실패 사건들은 희소하여 β 추정의 불확실성이 크며 Clopper–Pearson 구간이 넓어 도메인별 점추정에 상당한 신뢰구간이 남는다. 라우터 학습과 시장 규모 측정 사이에 로그된 프롬프트 정보의 가용성 제약이 있어 모든 대규모 측정에 대해 라우터를 재학습해 평가하지는 못했다는 범위적 한계가 명시되어 있다.