ManCAR: 순차적 추천을 위한 적응형 테스트 시간 연산 기반의 매니폴드 제약 잠재 추론

추천 시스템이 여러 단계의 추론을 거칠 때 발생하는 '잠재적 표류' 문제를 아이템 그래프 기반의 매니폴드 제약으로 해결했다. 이를 통해 AI가 사용자의 의도를 더 정확하게 파악하면서도, 필요한 만큼만 연산하는 효율적인 적응형 추론을 구현했다.

기존의 순차적 추천 모델들은 Transformer 등을 이용해 여러 단계의 잠재적 추론을 수행하며 성능을 높이려 했다. 하지만 이 과정에서 중간 추론 상태들이 아무런 제약 없이 변화하다 보니, 실제 사용자의 관심사와는 동떨어진 영역으로 추론이 튀어버리는 '잠재적 표류(Latent Drift)' 문제가 발생했다. 이는 마치 지도 없이 안개 속을 걷는 것과 같아 추론이 길어질수록 오히려 성능이 불안정해지는 결과를 초래했다.

ManCAR는 이를 해결하기 위해 아이템 간의 관계를 나타내는 '글로벌 상호작용 그래프'를 일종의 가이드라인으로 활용한다. 사용자의 최근 행동과 연결된 아이템들로 구성된 '협업 매니폴드(Collaborative Manifold)'라는 안전 구역을 설정하고, AI의 추론이 반드시 이 구역 안에서만 이루어지도록 강제한다. 이는 AI가 추론을 진행할 때마다 '이 추론 결과가 실제로 일어날 법한 아이템 범위 안에 있는가?'를 지속적으로 확인하는 것과 같다.

또한, 모든 사용자에게 동일한 횟수의 추론을 강요하는 대신, 추론 결과가 충분히 명확해지면 스스로 멈추는 적응형 메커니즘을 도입했다. 결과적으로 ManCAR는 복잡한 데이터 환경에서도 길을 잃지 않고 사용자의 의도를 정교하게 찾아내며, 기존 모델 대비 최대 46.88% 향상된 추천 정확도를 달성했다.

전체 접근 방식은 아이템 상호작용 그래프 $G$를 기반으로 후보군 $C(I_n)$을 구축하는 것에서 시작한다. Swing 알고리즘을 변형하여 사용자 활동량과 아이템 인기도를 정규화한 고품질의 그래프를 생성하고, 이를 통해 사용자의 최근 행동과 밀접한 '협업 매니폴드'를 정의한다.

핵심 메커니즘은 변분 학습 목적 함수(Variational Objective)이다. [사용자 히스토리 $H$와 그래프 기반 후보군 $C$를 입력으로] → [잠재 추론 상태 $r_{t'}$를 생성하고 이를 아이템 확률 분포로 투영하는 연산을 수행해] → [교사 확률 분포(Teacher Prior)와의 KL Divergence를 최소화하는 결과를 얻고] → [이 값이 추론의 타당성을 보장하는 정규화 항으로 작용한다].

학습 전략으로는 RDMA(Rank-Based Distribution Mass Assignment)를 사용한 교사 스케줄링을 적용한다. 추론 초기에는 넓은 범위를 탐색하도록 완만한 분포를 제공하고, 단계가 진행될수록 정답 아이템에 집중된 날카로운 분포를 제공하여 'Coarse-to-Fine' 방식의 안정적인 추론 경로를 학습시킨다.

구현 상세에서는 Latent State Norm Rescaling을 도입한다. [갱신된 잠재 상태 $h$를 입력으로] → [자신의 노름으로 나눈 뒤 아이템 임베딩의 평균 노름을 곱하는 연산을 수행해] → [아이템 공간과 일치된 스케일의 벡터를 얻고] → [이것이 Softmax 연산 시 수치적 안정성과 수렴 속도를 높이는 역할]을 한다.

Amazon 2023 Reviews의 7개 벤치마크(CDs, Video, Office, Arts, Music, Toys, Grocery)에서 실험을 수행했다. ManCAR는 SASRec, BERT4Rec 등 비추론 모델뿐만 아니라 ReaRec, PLR, LARES 등 최신 잠재 추론 모델들을 모두 압도했다. 특히 CDs 데이터셋에서 NDCG@10 기준 46.88%의 상대적 향상을 기록하며 가장 큰 개선을 보였다.

Ablation Study 결과, 교사 분포(Teacher Prior)를 제거했을 때 성능 하락이 가장 컸으며, 이는 단순한 그래프 컨텍스트 주입보다 그래프 기반의 추론 제약이 핵심임을 입증한다. 또한 적응형 중단(Adaptive Halting)을 적용했을 때 고정된 단계의 추론보다 오라클 성능(Ceiling)에 더 가까운 결과를 얻어 효율적인 연산 배분이 가능함을 확인했다.

매개변수 민감도 분석에서는 후보군 크기(#context items)와 학습 단계 수에 가장 민감하게 반응하는 것으로 나타났다. 너무 적은 후보군은 매니폴드 지원이 부족해 성능을 저하시키고, 너무 많은 후보군은 노이즈를 유발하여 최적의 균형점이 존재함을 확인했다.

ManCAR의 아키텍처는 Transformer 인코더를 기반으로 하며, 마지막 인코더 상태 $h_{T-1}$을 초기 추론 상태 $r_1$로 설정한다. 이후 공유된 추론 모듈 $f_ heta$를 통해 반복적으로 상태를 갱신하며, 각 단계의 상태는 아이템 임베딩 행렬 $E$와 내적되어 로짓 $z_{t'}$를 생성한다.

수학적 기반은 ELBO(Evidence Lower Bound) 유도에 있다. 로그 가능도 $\log p_ heta(i^*|H)$를 목적 함수로 삼아, 그래프 기반 후보군 $C$에 대한 기댓값 항과 모델의 의도 분포와 교사 분포 사이의 KL 정규화 항으로 분해한다. 이론적 분석을 통해 KL Distillation이 아이템 임베딩 공간에서 예측의 무게중심을 교사의 무게중심으로 이동시키는 'Gradient Flow'를 형성함을 증명했다.

학습 시에는 온도 스케줄링(Temperature Scheduling)을 적용한다. 초기 단계에는 낮은 온도로 보수적인 업데이트를 수행하고, 단계가 진행될수록 온도를 높여 정답 아이템에 대한 감독 강도를 높임으로써 안정적인 수렴을 유도한다. 테스트 시에는 연속된 두 단계 사이의 KL 발산이 임계값 $\epsilon$ 미만으로 떨어지면 수렴한 것으로 판단하고 연산을 중단한다.

아이템 간의 연결이 매우 희소한(Sparse) 데이터셋에서는 그래프 기반의 제약 조건이 충분한 정보를 제공하지 못해 성능 향상 폭이 제한적일 수 있다. 또한, 상호작용 이력이 거의 없는 콜드 스타트 사용자에 대한 대응 방안은 본 논문의 범위에서 제외되었다.