사용자 설문 피드백 통합을 통한 대규모 랭킹 시스템의 개인화 개선

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

기존 추천 시스템은 클릭이나 시청 시간 같은 암시적 신호에 의존하여 장기적인 사용자 만족도를 놓치는 한계가 있었다. Meta는 이를 해결하기 위해 실제 사용자 설문 데이터를 직접 활용하는 UTIS(User True Interest Survey) 모델을 개발했다. 이 모델은 수집된 설문 응답을 바탕으로 기존 랭킹 모델의 예측값을 특징으로 사용하는 경량 정렬 레이어를 학습시킨다. 결과적으로 Facebook Reels에서 니치한 고품질 콘텐츠 노출이 늘어났으며 사용자 참여도와 유지율이 유의미하게 향상되었다.

배경

추천 시스템의 랭킹 퍼널 구조 이해, 멀티태스크 학습 및 지식 증류 개념, A/B 테스트 및 주요 참여 지표 지식

대상 독자

추천 시스템 및 랭킹 알고리즘을 설계하는 ML 엔지니어 및 데이터 과학자

의미 / 영향

단순 행동 로그 기반 추천의 한계를 극복하기 위해 사용자 인지 피드백을 시스템에 직접 통합하는 새로운 표준을 제시한다. 이는 대규모 서비스에서 데이터 희소성 문제를 해결하면서도 개인화 품질을 획기적으로 높일 수 있는 실전적인 아키텍처를 제공한다.

섹션별 상세

기존 추천 시스템은 시청 시간이나 좋아요와 같은 암시적 신호에 의존하지만 이는 사용자의 진정한 관심사를 완벽히 반영하지 못하는 노이즈를 포함한다. Meta의 연구에 따르면 효과적인 관심사 매칭은 단순한 주제 일치를 넘어 오디오, 제작 스타일, 분위기 등 다각적인 요소를 포함해야 한다. 이를 위해 사용자에게 직접 영상의 관심사 부합도를 묻는 측정 방식이 필요함이 확인됐다.

UTIS 모델은 매일 무작위로 선정된 사용자 세션에서 수집된 1~5점 척도의 설문 응답을 기반으로 학습된다. 이 모델은 대규모 멀티태스크 랭킹 모델의 출력값을 입력 특징으로 사용하는 경량 Perception Layer 아키텍처를 채택했다. 설문 데이터의 희소성 문제를 해결하기 위해 기존 이벤트 예측값을 활용하여 대규모 시스템에서도 사용자 인지 피드백을 일반화할 수 있도록 설계됐다.

추천 시스템의 활동 학습과 인지 학습 루프를 보여주는 다이어그램이다. — Diagram사용자의 활동(좋아요, 공유 등)을 학습하는 기존 루프와 설문을 통한 인지 학습(재미, 관심 등) 루프가 어떻게 결합되어 랭킹에 영향을 주는지 시각화한다.

실제 Facebook Reels 앱 내에서 사용자에게 노출되는 관심사 설문 UI 스크린샷이다. — Screenshot사용자가 시청한 영상이 자신의 관심사와 얼마나 일치하는지 5단계 척도로 직접 선택할 수 있는 인터페이스를 보여준다.

UTIS 모델의 Perception Layer 아키텍처 구조도이다. — Diagram사용자 히스토리와 특징값들이 Interaction Over Arch를 거쳐 기존 이벤트 예측값과 결합된 후 최종적으로 관심사 확률을 출력하는 과정을 상세히 설명한다.

학습된 UTIS 모델은 랭킹 퍼널의 여러 단계에 통합되어 작동한다. 최종 랭킹 단계인 LSR에서는 최종 가치 산정 공식의 추가 입력 특징으로 사용되어 진정한 관심사와 다른 지표 간의 균형을 맞춘다. 초기 단계인 Retrieval에서는 지식 증류 기법을 통해 사용자 관심사 프로필을 재구성하고 더 관련성 높은 후보군을 추출하는 데 활용된다.

오프라인 평가 결과 UTIS 모델은 기존 휴리스틱 방식 대비 정확도를 59.5%에서 71.5%로 향상시켰다. 1,000만 명 이상의 사용자를 대상으로 한 온라인 A/B 테스트에서는 높은 설문 평점이 5.4% 증가하고 낮은 평점은 6.84% 감소하는 성과를 거두었다. 또한 전체 사용자 참여도가 5.2% 증가하며 실제 서비스 품질 개선 효과가 입증됐다.

실무 Takeaway

시청 시간 위주의 최적화는 단기적 자극에 치중될 위험이 있으므로 설문 기반의 진정한 관심사 데이터를 랭킹 가중치에 반영하여 장기적인 사용자 유지율을 확보해야 한다.
설문 응답과 같은 희소한 데이터를 직접 모델링하기보다 기존 랭킹 모델의 예측치를 특징값으로 활용하는 Perception Layer를 도입하여 학습 효율성과 예측 정확도를 동시에 잡을 수 있다.
UTIS 점수를 활용해 관심사가 낮은 콘텐츠를 강제로 강등하고 니치한 고품질 콘텐츠를 부스팅함으로써 추천의 다양성과 사용자 만족도를 동시에 개선할 수 있다.

언급된 리소스

논문Improve the Personalization of Large-Scale Ranking Systems by Integrating User Survey Feedback