활성 학습자를 이용한 효율적인 PRP 재랭커

PRP 재랭킹은 LLM의 쌍대 선호를 이용해 상위-K를 도출하지만, 노이즈와 비전제성으로 인해 정렬 가정이 맞지 않는다. 이를 예산 제약 하의 활성 학습 문제로 재구성하면, 상위-K 품질을 더 적은 호출 수로 달성할 수 있다. 또한 randomized-direction 오라클은 위치 편향을 제로 평균의 노이즈로 바꿔 합계 순위를 편향 없이 추정하도록 한다. 실험에서 Mohajer 기반 활성 스케줄러가 동일 예산에서 기존 정렬 대비 NDCG@10을 크게 향상시키고, randomized-direction를 통해 비용-효율성이 더 개선된다. BEIR 태스크에서 활성 랭커는 QuickSort와 유사한 NDCG@10를 달성하면서 호출 수를 최대 7배까지 줄일 수 있다.

출발점: PRP 재랭킹은 쌍간 비교를 수집해 상위-K를 산출하는 과정이며, 제한된 예산 하에서 모든 쌍에 대해 양방향 프롬프팅을 수행하는 것은 비용 비효율적이다. 이 논문은 이를 활성 학습으로 재구성하여, 불확실한 쌍에 비교를 집중하고 전체 글로벌 정렬 대신 top-K 품질에 초점을 맞춘다. 핵심 메커니즘은 두 가지 활성 랭커: Mohajer의 토너먼트-힙 추출과 PAC의 앵커-기반 비교로 구성되며, 각 방식은 BM25 같은 앵커를 활용하거나 토너먼트 구조 내에서 비교를 집중한다. 또한 입력 순서를 무작위로 바꿔 한 번의 호출로 편향을 상쇄하는 Randomized-direction Oracle을 도입해, 대규모 예산에서도 무작위성으로 품질의 상한을 높이고 시간 대비 품질 향상을 달성한다.

입력: 질의 q와 후보 리스트 D(q) = {d1, ..., dN}(N ≥ K). 출력: 상위-K 리스트 RK(q) = (r1, ..., rK). 쌍-오라클 Xij(q) ∈ {0,1}로 di ≻ dj 여부를 다룬다. 비용은 호출 수로 측정하고, Bidirectional(두 호출)과 Randomized-Direction(하나 호출)로 구분한다. Randomized-direction은 Vij = LLM(di, dj) 또는 1 - LLM(dj, di)를 0.5 확률로 선택해 Pr[Vij=1] = 1 − Pr[Vji=1]이 되도록 한다. 활성 랙커: Mohajer는 토너먼트-힙 구조로 상위-후보를 우선 선별하고, PAC는 BM25 앵커를 사용해 상위 Top(K×m) 후보를 비교하고, 최종 Top-K를 버블 소트로 정렬한다. 학습 전략은 트레이드오프 매개변수 없이, 모델 파라미터 학습 없이 비교 스케줄링으로 수행한다. 결과 평가는 NDCG@10이며 BEIR DL2019/2020 등의 벤치마크에서 비교된다.

주요 결과: DL2019/2020에서 Flan-T5-XL를 사용할 때, 동일한 오라클 하에서 Mohajer의 성능은 정렬 기반 베이스라인을 크게 능가한다. 예를 들어 B=300 호출 시 Mohajer은 66.1 vs 56.4의 차이로 +9.7의 향상을 보였다. Randomized-direction를 적용하면 PRP 재랭커에서도 고정된 예산에서 더 높은 NDCG@10를 달성한다(예: BubbleSort에서 56.4→62.0). Mohajer+Bubble은 B=250~450 구간에서 최상위 성능의 상향 곡선을 그리며, 최종적으로 고 Budgets에서 HeapSort를 능가하는 시점이 있다. BEIR 태스크 전반에서 활성 랭커의 평균 NDCG@10은 QuickSort와 비교할 만한 수준이고, 비교당 호출 수는 최대 7배까지 감소한다. 또한 Latency 분석에서는 활성 랭커가 더 빠르게 고품질에 도달하며, 대규모 병렬 처리로 wall-clock 시간을 크게 줄일 수 있다. Qwen3-4B-Instruct 기반 실험에서도 Randomized 방향 프롬프팅이 전체적으로 비용 효율을 높이는 경향을 보였다.

아키텍처: PRP 랭킹 파이프라인에서 후보 집합 D(q)와 쿼리 q를 입력으로 받아, pairwise oracle를 통해 di ≻ dj 여부를 판단하고 상위-K를 산출한다. 오라클은 Bidirectional(두 호출)과 Randomized-Direction(하나 호출) 중 하나를 사용한다. Mohajer는 토너먼트 기반으로 매치업을 구성하고 각 매치에서 승자를 추출해 최상위 후보를 결정하며, 마지막으로 BubbleSort로 Top-K를 정렬한다. PAC는 BM25 기반 앵커를 이용해 후보 풀을 Top(K×m)로 축소하고, 앵커에 대한 후보 간 비교를 통해 승자 집합을 구성한 뒤 최종 Top-K를 산출한다(필요 시 BubbleSort로 정렬 보정). Prior work 대비 차별점은, 활성 학습 기반의 비교 스케줄링으로 예산 내 효율성을 극대화하고, Randomized-direction를 도입해 위치 편향을 평균화한다는 점이다.