Knowledge–Geometry Decoupling (KGD)

스트리밍 추천 환경에서는 아이템 풀과 사용자 분포가 계속 바뀌어 한 번 학습한 표현이 곧바로 쓸모없어질 위험이 있습니다. KGD는 프리트레인으로 얻은 행동적 지식과 태스크가 요구하는 판별적 기하를 서로 다른 소유권 레이어로 분리하여 프리트레인을 빈번히 갱신하면서도 태스크 적응을 안정적으로 유지하게 합니다. 이 방식은 리프레시로 인한 지식 소멸이나 태스크 최적화의 제약을 동시에 해소해 운영 중인 추천 서비스에 직접 적용 가능한 장점을 제공합니다.

추천 로그는 서로 다른 관심 세션들이 이어붙여진 형태라 시퀀스 내 인접 관계가 항상 의미적 의존을 뜻하지 않습니다. BMTP는 협업 및 의미 유사도로 값비싼 전이를 필터해서 프리트레인이 일시적 전환 대신 지속적 공통 구조를 학습하도록 유도합니다. 그 위에 태스크 전용 기하를 입력 수준의 직교 잔차와 읽기 전용 크로스어텐션으로 얹으면 인코더를 자주 리프레시해도 태스크 적응을 보존할 수 있습니다.

입력은 아이템 임베딩 시퀀스이고 프로세스는 두 축의 필터링·프리트레인·태스크 학습으로 이어집니다. 먼저 BMTP가 협업(sim_col)과 의미(sim_sem) 유사도 임계값 τ_col, τ_sem로 다음 관련 아이템만을 양성 표본으로 골라 소프트맥스 기반 NTP 손실로 인코더를 학습합니다. 그다음 태스크는 인코더의 최종 히든 상태를 stop-gradient로 읽어가며 ACR로 조정된 임베딩을 입력으로 별도 트랜스포머를 학습해 점수화를 수행합니다. 온라인 운영에서는 하루 단위로 인코더만 리프레시한 뒤 인코더를 고정하고 태스크를 재적응시키는 방식으로 비용과 안정성 균형을 맞춥니다.

논문은 여덟 개 공개 벤치에서 KGD가 기존 강력한 프리트레인·전이 방식들보다 4~12% 상대 개선을 기록했다고 보고합니다. 90일간의 스트리밍 실험에서는 베이스라인들이 리프레시와 목표 충돌로 이득을 잃는 반면 KGD는 이득을 지속적으로 유지했습니다. 실제 배포 결과로 Shopee Homepage Search에서 사용자당 GMV가 1.75% 증가하고 광고 수익이 1.53% 증가한 A/B 성과가 추가로 보고되어 운영적 가치도 입증되었습니다.

모델은 두 개의 트랜스포머로 구성됩니다. 인코더는 BMTP 목적으로 학습된 self-attention Transformer이고 입력은 아이템 임베딩입니다. BMTP 손실은 필터된 양성 집합 S_t^{col}, S_t^{sem}에 대해 위치별 소프트맥스 로그 우도 합으로 표현됩니다. 태스크 측은 ACR로 수정된 임베딩을 받는 별도 Transformer를 갖고, 인코더의 최종 히든 상태 H̃는 stop-gradient로 공급되어 읽기 전용 크로스어텐션의 키·값이 됩니다. ACR는 태스크별 스칼라 s_k와 직교를 보장하는 저순위 행렬 Z^{(k)}B^{(k)T}으로 구성되어 예측 임베딩을 \tilde{e}_i^{(k)} = s_k * sg(e_i^{pre}) + Δe_i^{(k)} 형태로 만듭니다. 직교 규제로 Δe_i^{(k)}가 pre 임베딩과 충돌하지 않게 하며 학습 시 인코더 파라미터로 그라디언트가 흐르지 않도록 설계했습니다.

범위가 전통적 행동 시퀀스 기반 추천에 한정되어 LLM 기반 추천(문서·프롬프트 기반 적응)과는 적용 방식이 다릅니다. ACR와 태스크 트랜스포머를 추가하면 밀집 파라미터가 대략 두 배로 늘어나고 임베딩 스토리지도 증가해 대규모 카탈로그 운영에서 비용 영향이 존재합니다. 또한 BMTP는 협업·의미 유사도를 사전 계산·캐시해야 하므로 초기 오프라인 전처리와 임계값 τ_col, τ_sem의 튜닝이 필요합니다.