계층적 관심 표현(Hierarchical Interest Representation) 개요

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Meta의 계층적 관심 표현은 광고 엔터티 전반을 아우르는 상위 표현 레이어를 도입해 희소한 딥 퍼널 신호를 보완한다. 입력으로는 사용자·광고주·제품 등 엔터티와 멀티모달 자산을 사용하고 처리 단계에서는 Transformer 기반의 그래프 학습과 편향 인지 어텐션, 교차 뷰 자기지도 증류를 적용하여 다중 계층의 관심 표현을 학습한다. 학습은 수십억 건 수준의 실제 광고 상호작용에서 엔드투엔드로 진행되었으며 출력으로 범용 임베딩과 Bag-of-Meaning 토큰을 생성해 개인화·검색·랭킹 등 여러 계층에서 재사용하도록 설계되었다. 이 접근은 희소하거나 미관찰 엔터티에 대한 일반화를 촉진하지만 본문에는 정량적 평가 지표가 제한적으로만 제시되어 추가 검증이 필요하다.

섹션별 상세

광고 생태계에서 심층 전환 신호는 희소하고 관찰 편향이 존재하는 문제가 되어 왔으며, 이를 해결하기 위해 상위 표현 계층으로서의 통합 임베딩을 설계했다. 입력으로는 사용자·광고주·제품 등 광고 엔터티와 이들 간의 상호작용 로그가 사용되며 처리 과정에서는 그래프 기반의 표현 학습을 통해 엔터티 간 장거리 관계를 집약하고 출력으로는 범용 임베딩과 의미 토큰 집합을 생성한다. 본문은 이러한 구조가 Meta의 딥 퍼널 랭킹 최적화를 개선하기 위한 상향식 레이어임을 직접적으로 언급하고 있다. 이 접근법은 희소한 심층 의도 신호를 보다 넓은 엔터티 맥락과 연결함으로써 리콜과 관련성 향상에 기여할 가능성이 있다.

시스템은 자체 개발한 Transformer 기반의 그래프 학습 아키텍처를 중심으로 동작하며, 어텐션 단계에서 관찰·노출 편향을 고려하는 편향 인지 어텐션을 적용한다. 입력 노드와 이웃의 메시지를 어텐션으로 가중합하고, 편향 인지 항을 통해 과대대표되거나 과소대표되는 패턴을 보정한 뒤 계층적 축에 따라 표현을 출력한다. 학습 과정에서는 서로 다른 관측 뷰를 자기지도 방식으로 정렬하고 한 뷰의 표현을 다른 뷰로 증류하는 교차 뷰 증류(cross-view distillation)를 적용해 뷰 간 일관성을 강화한다. 이러한 조합은 장거리 관계와 멀티스케일 관심 구조를 동시에 학습함으로써 희소 데이터에서도 안정적인 표현을 제공하는 것을 목표로 한다.

광고주와 제품에 대한 멀티모달 콘텐츠를 LLM으로 전처리하여 희소 상호작용을 보강하는 데이터 경로가 설계되어 있다. 텍스트·이미지 등 멀티모달 자산을 LLM으로 임베딩하거나 의미 기반 토큰으로 변환한 뒤 사용자의 행동 신호와 결합하여 보다 풍부한 입력 표현을 만든다. 이 과정은 실세계 지식과 참여 신호를 결합해 희귀하거나 미관찰 엔터티에 대한 일반화를 촉진하며, 본문에서는 멀티모달 콘텐츠 처리가 희소 상호작용을 보완한다고 명시되어 있다. 결과적으로 드문 엔터티나 신규 광고 아이템에 대해서도 관심 예측이 확장될 수 있다.

최종 산출물은 광고 엔터티용 범용 임베딩과 Bag-of-Meaning 형태의 관심 토큰 집합으로, 이들은 개인화·검색·감독 신호·전문화된 랭킹 아키텍처 전반에서 재사용되도록 설계되었다. 문서에서는 이 표현들이 Meta의 Generative Ads Model, Andromeda, Adaptive Ranking Model 등 기존 시스템과 연동되어 딥 퍼널 최적화를 촉진한다고 명시하고 있으며, 시스템은 실제 Meta 광고 데이터에서 수십억 건의 상호작용 규모로 엔드투엔드 학습되었다고 보고되어 있다. 이러한 대규모 학습은 표현의 통계적 견고성을 보장하고 실제 운영에서의 일반화 가능성을 높인다. 다만 학습 규모와 실제 성능 지표에 대한 구체적 수치는 본문에 제한적으로만 제시되어 있어 추가 검증이 필요하다.

용어 해설

계층적 표현(Hierarchical Representation): — 여러 수준의 추상화(예: 전체 관심사, 세부 의도)를 동시에 포착하는 표현 방식으로, 그래프상 노드와 엣지를 통해 상위·하위 관심 축을 학습하여 희소한 신호를 안정적으로 일반화하는 데 사용된다.
편향 인지 어텐션(Bias-Aware Attention): — 노드별 노출이나 상호작용 편향을 보정하면서 어텐션 가중치를 계산하는 메커니즘으로, 광고 데이터의 관찰 편향으로 인한 왜곡을 줄이고 더 공정한 중요도 추정에 기여한다.
교차 뷰 증류(Cross-View Distillation): — 서로 다른 관측 뷰(예: 사용자 행동 vs 광고 메타데이터)로부터 생성된 표현을 자기지도 방식으로 정렬하고 증류하여 각 뷰의 강점을 통합하고 견고한 임베딩을 얻는 학습 기법이다.
의미 토큰 집합(Bag-of-Meaning): — 엔터티의 핵심 의미 요소들을 토큰화한 집합 표현으로, 개별 관심 요소들을 조합해 상위 임베딩을 보완하고 검색·랭킹·감독 신호로 활용될 수 있는 구조적 요약 표현이다.
딥 퍼널 최적화(Deep Funnel Optimization): — 사용자의 초기 관심에서 구매 직전의 전환 의도까지 긴 전환 경로 전반을 최적화하는 접근으로, 희소한 심층 전환 신호를 포착해 광고 효율을 높이는 것이 핵심 목표이다.

기술

Transformer
LLM
graph learning
self-supervised learning
multimodal models

활용 사례

광고 개인화
관련 콘텐츠 검색 및 랭킹
감독 신호 보강 및 전이 학습

언급된 리소스

문서GEM: The Central Brain Accelerating Ads Recommendation AI Innovation

문서Andromeda Advantage Automation: Next-Gen Personalized Ads Retrieval Engine

문서Adaptive Ranking Model: Bending the Inference Scaling Curve to Serve LLM-Scale Models for Ads