핵심 요약
사용자 행동의 긴 시퀀스를 모델링하는 것은 생성형 추천(generative recommendation) 분야에서 중요한 과제로 부상했습니다. 그러나 기존 솔루션들은 딜레마에 직면해 있습니다. 선형 어텐션(linear attention) 메커니즘은 효율적이지만 제한된 상태 용량으로 인해 검색 정밀도가 떨어지는 반면, 소프트맥스 어텐션(softmax attention)은 과도한 계산 비용이 발생합니다. 이러한 문제를 해결하기 위해 본 논문에서는 장기적인 안정적 선호도와 단기적인 의도 급증을 명시적으로 분리하는 하이브리드 어텐션(Hybrid Attention) 아키텍처인 HyTRec을 제안합니다. 방대한 과거 시퀀스는 선형 어텐션 브랜치에 할당하고, 최근 상호작용은 특화된 소프트맥스 어텐션 브랜치에 할당함으로써, 1만 건 이상의 상호작용이 포함된 산업 규모의 컨텍스트에서도 정밀한 검색 능력을 복원합니다. 또한 선형 계층에서 급격한 관심 변화를 포착하지 못하는 지연 현상을 완화하기 위해, 과거의 노이즈를 효과적으로 억제하면서 신선한 행동 신호에 동적으로 가중치를 부여하는 시계열 인식 델타 네트워크(Temporal-Aware Delta Network, TADN)를 설계했습니다. 산업 규모의 데이터셋에 대한 실험 결과, 본 모델은 선형적인 추론 속도를 유지하면서 강력한 베이스라인 모델들을 능가했으며, 특히 초장기 시퀀스 사용자에 대해 히트율(Hit Rate)을 8% 이상 향상시키는 우수한 효율성을 입증했습니다.
핵심 기여
하이브리드 어텐션 아키텍처 설계
장기적인 선호도는 선형 어텐션으로, 단기적인 의도 변화는 소프트맥스 어텐션으로 분리하여 처리함으로써 효율성과 정밀도를 동시에 확보했다.
시계열 인식 델타 네트워크(TADN) 도입
선형 어텐션 계층의 한계인 관심 전이 포착 지연을 해결하기 위해 최신 행동 신호를 동적으로 강화하고 과거 노이즈를 억제하는 메커니즘을 구현했다.
초장기 시퀀스 처리 성능 입증
1만 건 이상의 상호작용을 포함하는 산업용 데이터셋에서 기존 모델 대비 히트율(Hit Rate)을 8% 이상 개선하며 실질적인 성능 우위를 증명했다.
방법론
HyTRec은 방대한 과거 데이터를 처리하는 선형 어텐션 브랜치와 최근 상호작용을 처리하는 소프트맥스 어텐션 브랜치를 병렬로 결합한 구조를 취한다. 여기에 시계열 인식 델타 네트워크(TADN)를 통합하여 선형 계층 내에서 시간적 감쇠와 최신성 가중치를 동적으로 계산함으로써 사용자의 급격한 관심 변화를 실시간으로 추적한다.
주요 결과
산업 규모의 대규모 데이터셋 실험에서 HyTRec은 선형적인 추론 속도를 유지하면서도 기존 최첨단 모델들을 능가했다. 특히 1만 개 이상의 상호작용을 가진 초장기 시퀀스 사용자 그룹에서 히트율(Hit Rate)이 베이스라인 대비 8% 이상 향상되는 성과를 기록했다.
시사점
대규모 플랫폼에서 수만 건의 사용자 행동 데이터를 실시간으로 반영해야 하는 추천 시스템 구축에 기여한다. 선형 어텐션의 저비용 특성과 소프트맥스 어텐션의 고정밀 특성을 결합하여 인프라 효율성을 유지하면서도 개인화 추천 품질을 획기적으로 높일 수 있다.
키워드
섹션별 상세
하이브리드 어텐션 아키텍처 설계
시계열 인식 델타 네트워크(TADN) 도입
초장기 시퀀스 처리 성능 입증
AI 요약 · 북마크 · 개인 피드 설정 — 무료