섹션별 상세
검색 시스템 최적화를 위해 사용자의 클릭이나 다운로드 기록인 행동 관련성과 쿼리와 결과 간의 의미적 일치도인 텍스트 관련성을 결합하여 활용한다. 전문가가 직접 작성하는 텍스트 관련성 레이블은 확보하기 어렵고 비용이 많이 들기 때문에 이를 대체할 방법이 필요했다. 다양한 LLM 구성을 실험한 결과, 단순히 크기가 큰 사전 학습 모델보다 특정 도메인에 맞춰 미세 조정된 모델이 훨씬 더 정확한 레이블을 생성한다는 사실을 발견했다.
미세 조정된 LLM을 활용하여 수백만 개의 고품질 텍스트 관련성 레이블을 자동으로 생성하고 이를 기존 프로덕션 랭킹 모델의 학습 데이터로 추가했다. 이 데이터 증강 과정을 통해 오프라인 평가 지표인 NDCG에서 행동 관련성과 텍스트 관련성이 동시에 향상되는 파레토 최적 전선의 확장을 확인했다. 이는 LLM이 생성한 데이터가 실제 전문가의 판단을 효과적으로 모사하며 모델 학습에 실질적인 도움을 주었음을 시사한다.
전 세계 App Store 사용자를 대상으로 진행한 대규모 A/B 테스트에서 새로운 랭킹 모델은 기존 대비 전환율을 0.24% 향상시키는 성과를 거두었다. 특히 과거 행동 데이터가 거의 없는 롱테일 쿼리에서 LLM 기반의 텍스트 관련성 신호가 강력한 가이드 역할을 수행하여 검색 품질을 크게 개선했다. 이러한 결과는 데이터 희소성 문제를 해결하는 데 있어 LLM이 생성한 판단 데이터가 매우 유용한 자산이 될 수 있음을 입증한다.
용어 해설
- 정규화된 할인 누적 이득(NDCG)
- — 검색 결과의 순위 품질을 측정하는 지표로, 관련성이 높은 결과가 검색 결과 상단에 위치할수록 더 높은 점수를 부여한다. 검색 엔진의 성능을 정량적으로 평가할 때 가장 널리 사용되는 척도 중 하나이다.
- 파레토 최적 전선(Pareto Frontier)
- — 여러 목표를 동시에 최적화할 때, 한 목표를 희생하지 않고는 다른 목표를 개선할 수 없는 상태들의 집합을 의미한다. 본문에서는 행동 관련성과 텍스트 관련성이라는 두 지표가 동시에 개선되었음을 설명하는 데 사용되었다.
- 롱테일 쿼리(Tail Query)
- — 검색 빈도가 매우 낮고 구체적인 검색어로, 개별 검색 횟수는 적지만 전체 검색량에서 차지하는 비중이 크다. 데이터가 부족하여 기존의 행동 기반 랭킹 시스템이 정확한 결과를 제공하기 어려운 영역이다.
- 행동 관련성(Behavioral Relevance)
- — 사용자의 클릭, 다운로드, 구매 등 실제 행동 데이터를 기반으로 측정된 검색 결과의 관련성이다. 사용자의 선호도를 직접적으로 반영하지만, 신규 항목이나 검색 빈도가 낮은 쿼리에서는 데이터 부족 문제가 발생한다.
기술
- LLM
- Fine-tuning
- NDCG
- A/B Testing
활용 사례
- App Store 검색 결과 순위 최적화
- 롱테일 쿼리 검색 품질 개선
- 학습 데이터 증강(Data Augmentation)
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 27.수집 2026. 03. 01.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
