DART: 예측과 불확실성을 활용한 드리프트 인식 랭킹

새로운 점

불확실성을 제어 신호로 사용해 Forecaster의 예측 정보를 랭커로 동적으로 주입하는 점에서 기존의 단순 재가중화나 예측 포함 방식과 차별화된 신호 처리 방법을 제시한 것으로 나타났다.

핵심 메커니즘

입력으로 과거 관측치와 현재 피처를 받는 Forecaster가 look-ahead 창의 아이템 성능과 그 예측 불확실도를 출력하고 이 출력이 uncertainty-aware attention으로 처리되어 랭커의 입력으로 통합되는 처리 파이프라인이다. 구체적으로 Forecaster는 시계열을 인코드하여 미래 성능 분포를 예측하고 불확실도(예: 분산 또는 신뢰도)를 산출하며, attention 모듈은 이 불확실도를 가중치로 변환해 예측 신호의 영향력을 조절한다고 기술됐다. 출력은 통합 피처를 가진 랭킹 모델의 예측 점수이고 ablation에서 attention 기반 통합이 직접적 피처 병합보다 더 높은 MRR 개선을 보인 근거가 제시되었다.

핵심 수치

• 프로모션 기간 상대 MRR 개선률에 관한 지표이다.: +11.11%±0.11%라고 원문에 표기되어 있다.- 해당 수치는 DART의 오프라인 배포 구성에서 측정된 상대 개선률이며 ±0.11%의 불확실도 범위가 함께 보고되었다.
• 이벤트 이전 기간 상대 MRR 개선률에 관한 지표다.: +7.37%±0.11%라고 원문에 표기되어 있다.- 이 값은 프로모션 이전의 사전 평가에서 관찰된 상대 개선률이며 ±0.11%의 수치가 함께 제시되었다.
• 공개 Coveo SIGIR 데이터셋에서의 MRR 개선률 지표다.: ∼+22% MRR로 표기되어 있다.- 원문은 Coveo SIGIR dataset에서 고드리프트와 저드리프트 구간 모두에서 ∼+22% MRR 향상이 관찰되었다고 보고했다.