ManCAR: 순차적 추천을 위한 적응형 테스트 시간 연산 기반 매니폴드 제약 잠재 추론

추천 시스템이 사용자의 다음 행동을 예측할 때 복잡한 추론 과정을 거치는데, 이때 엉뚱한 방향으로 예측이 튀는 '잠재적 표류(Latent Drift)' 현상을 그래프 구조를 활용해 억제했습니다. 데이터의 복잡도에 따라 추론 단계를 스스로 조절하는 적응형 연산을 도입하여 효율성과 정확도를 동시에 확보했습니다.

기존의 순차적 추천 모델은 Transformer의 은닉 상태를 여러 단계에 걸쳐 갱신하며 추론 깊이를 더하지만, 이 과정에서 상태값이 타당하지 않은 영역으로 벗어나는 'Latent Drift' 문제가 발생한다. 이는 모델이 학습 데이터의 분포를 벗어나 엉뚱한 아이템을 추천하게 만드는 원인이 된다.

ManCAR는 이를 해결하기 위해 아이템 간의 협업 관계를 나타내는 그래프를 '매니폴드(Manifold)' 제약 조건으로 활용한다. 즉, 추론이 잠재 공간에서 자유롭게 이루어지는 것이 아니라, 사용자의 최근 행동과 연결된 아이템들의 이웃 영역 내에서만 움직이도록 가이드라인을 제시하는 방식이다.

또한 모든 사용자에게 동일한 횟수의 추론을 강요하지 않고, 예측 결과가 더 이상 변하지 않고 수렴하는 시점을 포착하여 추론을 종료한다. 이를 통해 복잡한 패턴은 깊게, 단순한 패턴은 빠르게 처리하는 효율적인 연산 구조를 구현하여 성능과 속도를 모두 개선했다.

글로벌 아이템 상호작용 그래프 G를 Swing 알고리즘을 통해 구축하고, 이를 기반으로 사용자의 최근 이력에 대한 k-hop 이웃 아이템 집합인 후보군 C(In)을 정의한다. 이 후보군은 추론이 머물러야 할 유효한 매니폴드 영역을 결정한다.

잠재 추론 상태 r_t'를 아이템 확률 분포로 사영하고, 이를 그래프 기반의 Teacher Prior인 q와 정렬시킨다. 이때 KL Divergence 정규화 항을 계산할 때 [입력: 모델이 예측한 아이템 분포 p와 그래프 기반의 정답 후보 분포 q → 연산: p와 q 사이의 정보량 차이(KL)를 계산 → 출력: 두 분포가 얼마나 다른지를 나타내는 스칼라 값 → 의미: 이 값이 작을수록 모델의 추론이 그래프가 허용하는 타당한 범위 내에 있음을 의미함] 과정을 거쳐 추론 경로를 매니폴드 내로 구속한다.

학습 시에는 Teacher Prior의 선명도(Sharpness)를 단계별로 높이는 스케줄링을 적용하며, 테스트 시에는 인접한 추론 단계 간의 KL Divergence가 임계값보다 작아지면 연산을 중단하는 적응형 중단 기준을 적용한다. 또한 Latent State Norm Rescaling을 통해 깊은 추론 시 발생할 수 있는 수치적 불안정성을 방지한다.

Amazon 2023 Reviews 데이터셋의 7개 카테고리(CDs, Video, Office 등)에서 실험한 결과, ManCAR는 SASRec, BERT4Rec, ReaRec 등 기존 SOTA 모델들을 모든 지표에서 능가했다. 특히 CDs 데이터셋에서 NDCG@10 기준 46.88%의 상대적 성능 향상을 기록하며 압도적인 정확도를 보였다.

Ablation Study를 통해 Teacher Prior와 매니폴드 제약 조건이 성능 향상의 핵심임을 확인했다. Teacher Prior가 없을 경우 성능이 크게 하락했으며, 이는 그래프 기반의 가이드가 Latent Drift 방지에 필수적임을 시사한다.

적응형 중단 메커니즘 분석 결과, 복잡한 데이터셋(CDs, Toys)에서는 평균적으로 더 깊은 추론을 수행하고 단순한 데이터셋(Arts, Grocery)에서는 빠르게 연산을 종료하며 효율적인 자원 배분을 수행함을 입증했다.

ManCAR는 Transformer 백본 인코더 위에 반복적인 잠재 추론 모듈을 결합한 아키텍처를 가진다. 초기 추론 상태는 인코더의 마지막 은닉 상태로 설정되며, 공유된 추론 모듈을 통해 업데이트된다. 각 단계의 잠재 상태는 아이템 임베딩 행렬 E와의 내적을 통해 로짓(Logit)으로 변환된다.

핵심 수학적 기반은 ELBO(Evidence Lower Bound)를 변형한 목적 함수이다. 이는 타겟 아이템 예측 손실과 그래프 유도 매니폴드 정규화 손실의 합으로 구성되며, Proposition 2.1을 통해 KL Distillation이 로컬 그래프 평활성(Local Graph Smoothness)을 유도함을 이론적으로 증명했다.

Latent State Norm Rescaling 기법을 도입하여 추론 단계가 깊어짐에 따라 발생할 수 있는 노름(Norm) 폭주 문제를 해결했다. 이는 잠재 상태의 스케일을 아이템 임베딩 공간의 평균 노름과 일치시켜 Softmax 연산 시 수치적 안정성을 확보하고 학습 수렴을 돕는다.

상호작용 데이터가 매우 희소한 콜드 스타트(Cold Start) 상황에서는 그래프 엣지가 노이즈를 포함할 수 있어 매니폴드 제약의 효과가 제한될 수 있음을 명시함.