인스타카트의 LLM 기반 개인화 추천 시스템 전환 여정

섹션별 상세

기존 추천 시스템은 사람이 직접 정의한 정적 라이브러리에 의존하여 개인화 확장이 어렵고 배치가 파편화되는 한계가 있었다. 각 배치는 독립적인 엔티티로 처리되어 페이지 전체의 일관성이 부족했으며, 사용자의 다양한 요구사항을 실시간으로 반영하기 힘들었다. 이를 해결하기 위해 인스타카트는 LLM을 활용해 페이지 전체의 응집력과 적응성을 높이는 방향으로 시스템을 재설계했다.

추천 생성 방식으로 'Bottoms-up'(개별 상품 생성 후 클러스터링) 대신 'Top-down'(전체 테마 생성 후 상품 매칭) 방식을 선택했다. 'Bottoms-up' 방식은 지연 시간과 카탈로그 회전율 문제로 실제 환경 적용이 어렵고 페이지 전체의 의도를 제어하기 힘들기 때문이다. 'Top-down' 방식은 페이지 전체의 맥락을 유지하면서 비즈니스 목표에 유연하게 대응할 수 있는 구조적 이점을 제공한다.

시스템 아키텍처는 총 4단계의 파이프라인으로 구성된다. 1단계에서는 사용자 구매 이력과 선호도 신호를 기반으로 '주중 식사 재료'와 같은 고수준의 개인화 테마를 생성한다. 2단계에서는 생성된 테마를 30만 개의 키워드 코퍼스와 매칭하여 검색 가능한 쿼리로 변환하며, 이 과정에서 RAG를 통해 관련성을 극대화한다.

운영 효율성을 위해 교사-학생 학습(Teacher-Student Learning) 기법을 도입했다. 고성능 폐쇄형 LLM을 교사 모델로 활용해 고품질 데이터를 생성하고, 이를 바탕으로 Llama나 Qwen 같은 오픈 소스 모델을 파인튜닝하여 도메인 특화 성능을 확보했다. 이 과정에서 RAG를 결합해 입력 컨텍스트를 압축함으로써 API 호출 비용을 15-20% 절감하는 성과를 거뒀다.

품질 보증을 위해 다층적인 평가 프레임워크를 구축했다. LLM-as-a-Judge를 통해 페이지와 테마 단위의 응집도를 평가하며, 대규모 실시간 필터링을 위해 DeBERTa 모델을 별도로 파인튜닝했다. 이 경량화된 평가 모델은 기존 LLM 추론 대비 비용을 99% 이상 절감하면서도 부적절한 상품 매칭을 사전에 차단하는 역할을 수행한다.

용어 해설

검색 증강 생성(RAG): — 외부 지식을 검색하여 LLM의 답변 정확도를 높이는 기법. 모델의 파라미터에 저장되지 않은 최신 정보나 특정 도메인 데이터를 참조하게 하여 할루시네이션을 줄이고 신뢰성을 확보하는 데 중요하다.
교사-학생 학습(Teacher-Student Learning): — 고성능 대형 모델의 지식을 작고 효율적인 모델에 전수하는 학습 방식. 고비용 모델로 생성한 고품질 데이터를 학습 데이터로 사용하여, 실제 서비스 환경에서 낮은 지연 시간과 비용으로 유사한 성능을 내도록 한다.
제약 조건 디코딩(Constrained Decoding): — 모델 출력이 특정 형식(JSON 등)을 따르도록 강제하여 시스템 연동성을 높이는 기술. 생성된 텍스트가 정해진 스키마를 준수하게 함으로써 후속 시스템에서 파싱 오류 없이 데이터를 즉시 사용할 수 있게 보장한다.
판사로서의 LLM(LLM-as-a-Judge): — 다른 AI 모델의 출력 품질을 평가하기 위해 고성능 LLM을 평가자로 사용하는 방법론. 사람이 직접 평가하기 어려운 대규모 데이터를 일관된 기준으로 자동 평가하여 개발 속도를 높이고 품질을 정량화하는 데 기여한다.
저순위 적응(LoRA): — 모델 전체를 재학습하는 대신 일부 파라미터만 학습시켜 효율적으로 파인튜닝하는 기법. 적은 계산 자원으로도 특정 도메인이나 작업에 맞춰 모델을 최적화할 수 있어 실무에서 널리 사용되는 효율적인 학습 방법이다.

기술

Llama
Qwen
DeBERTa
RAG
LoRA
LLM-as-a-Judge

활용 사례

개인화 상품 추천
생성형 쇼핑 허브
동적 테마 생성