CORAL의 LLM 기반 추천 시스템 최적화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

CORAL은 운영 중인 추천 시스템을 LLM 기반 에이전트의 폐쇄형 루프에 연결해 지속적으로 최적화하는 harness입니다. 에이전트는 운영 신호와 과거 결정·결과를 바탕으로 추론하고, 수치 최적화 도구를 호출해 고정된 운영 예산 안에서 retrieval, ranking, serving 설정을 바꿉니다. 두 개의 대규모 소셜 플랫폼에서 A/B 실험을 진행한 결과 한 플랫폼에서는 추가 서빙 비용 없이 참여도가 높아졌고, 다른 플랫폼에서는 참여도를 유지하면서 서빙 비용이 줄었습니다. 반복이 이어질수록 성능이 개선돼 사람 알고리즘 엔지니어가 맡던 지속 최적화 업무를 명시적 guardrail 아래 자동화할 가능성을 보였습니다.

섹션별 상세

기존 운영 추천 시스템은 콘텐츠, 사용자 행동, upstream model이 변할 때 retrieval, ranking, serving의 선택을 다시 조정해야 하지만, 사람 엔지니어가 온라인 실험으로 이를 확인하는 방식은 느리고 투입 가능한 engineering effort에 묶입니다. CORAL은 이 문제를 운영 중인 추천 시스템에 에이전트를 연결한 지속 최적화 과제로 바꿉니다. 시스템의 변화가 누적되는 환경에서 일부 설정이 장기간 갱신되지 않는 문제를 줄이려는 접근입니다.

CORAL의 각 사이클에서 에이전트는 현재 operating signal을 관찰하고 과거 결정과 결과를 저장한 memory를 바탕으로 다음 행동을 정합니다. 이후 도구를 호출해 추천 시스템을 재구성하며, numerical optimizer가 변경 폭을 fixed operating budget 안에 제한합니다. 실제 측정 결과는 다음 사이클의 입력으로 돌아가므로, parameter update 없이 이전 행동의 결과를 문맥 안에서 활용하는 폐쇄형 학습 루프가 형성됩니다.

논문은 이 과정을 partially observed, non-stationary, constrained optimization problem으로 정식화합니다. 에이전트는 시스템의 모든 내부 상태를 직접 받는 대신 운영 신호와 실험 결과를 관찰하고, 변화하는 환경에서 제약을 지키며 정책을 개선합니다. 따라서 CORAL의 핵심은 단일 ranking model을 학습하는 데 있지 않고, 추천 시스템 전체의 운영 선택을 반복적으로 조정하는 데 있습니다.

두 개의 대규모 social platform에서 A/B 실험을 진행한 결과, 한 플랫폼에서는 추가 serving cost 없이 engagement가 개선됐고 다른 플랫폼에서는 engagement를 떨어뜨리지 않으면서 serving cost가 감소했습니다. 두 결과는 참여도와 효율성 사이의 frontier를 서로 다른 방향으로 확장한 사례로 제시됩니다. 또한 loop가 반복될수록 성능이 향상돼, 명시적 guardrail과 운영 예산을 둔 자동화가 사람 알고리즘 엔지니어의 지속 최적화 업무를 대체할 가능성을 뒷받침합니다.

용어 해설

에이전틱 루프(Agentic Loop): — 에이전트가 운영 신호를 관찰하고 과거 결정과 결과를 기억한 뒤 도구를 호출해 시스템을 바꾸며, 측정된 결과를 다음 반복의 입력으로 삼는 폐쇄형 최적화 구조입니다. CORAL에서는 이 루프가 추천 시스템의 지속적인 재구성을 맡아 사람 엔지니어의 수동 실험 부담을 줄이는 기반이 됩니다.
제약 최적화(Constrained Optimization): — 목표 성능을 높이면서 비용이나 처리량처럼 미리 정한 운영 제약을 넘지 않도록 최적의 변경을 찾는 방법입니다. CORAL은 수치 최적화 도구로 추천 시스템 변경을 고정된 운영 예산 안에 묶어 참여도와 서빙 비용 사이의 균형을 조정합니다.
부분 관측 비정상 문제(Partially Observed, Non-Stationary Problem): — 시스템의 전체 상태를 직접 알 수 없고 콘텐츠와 사용자 행동, 상위 모델의 특성이 시간에 따라 바뀌는 최적화 문제입니다. 추천 시스템에서는 한 번의 실험 결과만으로 영구적인 해법을 얻기 어려우므로, CORAL처럼 운영 신호와 누적 결과를 반복해서 반영하는 구조가 필요합니다.
A/B 실험(A/B Experiment): — 서로 다른 시스템 설정을 사용자 집단에 나누어 적용하고 참여도나 비용 같은 실제 운영 지표를 비교하는 검증 방식입니다. 이 논문은 두 개의 대규모 소셜 플랫폼에서 CORAL의 변경을 A/B 실험으로 평가해 참여도와 서빙 비용의 변화를 측정했습니다.
추천 시스템(Recommender System): — 사용자에게 노출할 콘텐츠를 검색하고 순위를 정한 뒤 실제 서비스로 전달하는 시스템입니다. 콘텐츠와 사용자 행동이 변하면 retrieval, ranking, serving 관련 선택도 다시 조정해야 하며, CORAL은 이 운영 설정을 에이전트의 반복 루프로 자동 최적화합니다.

기술

LLM
numerical optimizer
A/B experiments

활용 사례

운영 중인 social platform 추천 시스템의 지속 최적화
고정된 serving budget 아래 참여도와 비용의 공동 조정
사람 알고리즘 엔지니어가 수행하던 온라인 설정 실험의 자동화

언급된 리소스

논문CORAL: An LLM-Native Harness for Production Recommender Systems