인스타카트의 LLM 기반 개인화 추천 시스템 전환 여정

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

인스타카트는 기존의 정적이고 파편화된 추천 시스템을 개선하기 위해 LLM 기반의 새로운 생성형 추천 플랫폼을 도입했다. 이 시스템은 'Top-down' 방식을 채택하여 페이지 전체의 일관성을 유지하면서도 사용자 구매 이력을 반영한 테마 중심의 추천을 생성한다. RAG와 교사-학생 학습 기법을 통해 비용과 지연 시간을 최적화했으며, 다층적인 LLM 평가 프레임워크를 통해 품질을 관리한다. 결과적으로 기존 시스템 대비 높은 개인화 수준과 성능 향상을 확인하며 추천 시스템의 패러다임을 전환하고 있다.

배경

LLM 기본 개념, RAG (Retrieval-Augmented Generation), Fine-tuning, 추천 시스템 기초

대상 독자

추천 시스템 엔지니어 및 LLM 프로덕션 도입을 고민하는 개발자

의미 / 영향

LLM이 단순 챗봇을 넘어 복잡한 이커머스 추천 시스템의 핵심 엔진으로 자리 잡을 수 있음을 보여준다. 특히 전통적인 랭킹 모델과 생성형 모델의 결합을 통해 개인화와 효율성을 동시에 달성하는 실전적인 아키텍처를 제시한다.

섹션별 상세

기존 추천 시스템은 사람이 직접 정의한 정적 라이브러리에 의존하여 개인화 확장이 어렵고 배치가 파편화되는 한계가 있었다. 각 배치는 독립적인 엔티티로 처리되어 페이지 전체의 일관성이 부족했으며, 사용자의 다양한 요구사항을 실시간으로 반영하기 힘들었다. 이를 해결하기 위해 인스타카트는 LLM을 활용해 페이지 전체의 응집력과 적응성을 높이는 방향으로 시스템을 재설계했다.

추천 생성 방식으로 'Bottoms-up'(개별 상품 생성 후 클러스터링) 대신 'Top-down'(전체 테마 생성 후 상품 매칭) 방식을 선택했다. 'Bottoms-up' 방식은 지연 시간과 카탈로그 회전율 문제로 실제 환경 적용이 어렵고 페이지 전체의 의도를 제어하기 힘들기 때문이다. 'Top-down' 방식은 페이지 전체의 맥락을 유지하면서 비즈니스 목표에 유연하게 대응할 수 있는 구조적 이점을 제공한다.

시스템 아키텍처는 총 4단계의 파이프라인으로 구성된다. 1단계에서는 사용자 구매 이력과 선호도 신호를 기반으로 '주중 식사 재료'와 같은 고수준의 개인화 테마를 생성한다. 2단계에서는 생성된 테마를 30만 개의 키워드 코퍼스와 매칭하여 검색 가능한 쿼리로 변환하며, 이 과정에서 RAG를 통해 관련성을 극대화한다.

운영 효율성을 위해 교사-학생 학습(Teacher-Student Learning) 기법을 도입했다. 고성능 폐쇄형 LLM을 교사 모델로 활용해 고품질 데이터를 생성하고, 이를 바탕으로 Llama나 Qwen 같은 오픈 소스 모델을 파인튜닝하여 도메인 특화 성능을 확보했다. 이 과정에서 RAG를 결합해 입력 컨텍스트를 압축함으로써 API 호출 비용을 15-20% 절감하는 성과를 거뒀다.

품질 보증을 위해 다층적인 평가 프레임워크를 구축했다. LLM-as-a-Judge를 통해 페이지와 테마 단위의 응집도를 평가하며, 대규모 실시간 필터링을 위해 DeBERTa 모델을 별도로 파인튜닝했다. 이 경량화된 평가 모델은 기존 LLM 추론 대비 비용을 99% 이상 절감하면서도 부적절한 상품 매칭을 사전에 차단하는 역할을 수행한다.

실무 Takeaway

복잡한 생성 작업은 단일 모델보다 여러 단계(테마 생성, 키워드 추출 등)로 분해하여 처리하는 것이 모델 튜닝과 성능 최적화 측면에서 유리하다.
RAG를 활용해 LLM의 입력 컨텍스트를 압축하고 검색 범위를 제한함으로써 API 비용을 15-20% 절감하고 추천 정확도를 높일 수 있다.
대규모 서비스 환경에서는 LLM 평가 비용을 줄이기 위해 DeBERTa와 같은 경량 모델을 파인튜닝하여 실시간 품질 필터로 활용하는 전략이 매우 효과적이다.