Sidekick의 지속 학습 플라이휠

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Shopify는 운영 실패를 자동 비평자와 중재자, 재생 재입력으로 연결하는 플라이휠 루프를 도입해 실제 트래픽에서 얻은 '어려운 사례'를 매일 학습 신호로 압축합니다. 판정자(judge)를 루브릭과 백테스트로 보정한 뒤, 자가 치유 파이프라인과 감독 증류(SFT)·GRPO를 번갈아 적용해 소형 모델이 프론티어 기반 초기 시스템보다 품질에서 앞서도록 만듭니다. 추가로 Gist 토큰으로 정적 시스템 프롬프트를 축소해 지연과 비용을 크게 낮춰 GraphQL agent 사례에서는 처리량 유지하면서 연간 비용을 약 96% 줄였다는 운영적 근거를 제시합니다.

빠른 이해

새로운 점

운영 실패를 자동 비평·중재·재생 루프로 변환해 매일 전체 파라미터를 재학습하는 일련의 자동화·증류 파이프라인을 상용 트래픽에 적용한 점이 실무적 차별점입니다.

핵심 메커니즘

운영에서 낮은 점수를 받은 대화를 자동 비평자들이 수리 지침으로 변환하고 재생 결과가 판정자 기준을 통과하면 해당 궤적을 SFT로 증류한 뒤 GRPO로 보상 최적화를 수행해 모델 파라미터를 갱신하는 루프입니다.

핵심 수치

운영 처리량: 최대 2,000 requests/min- GraphQL agent의 상용 처리량으로 본문에 명시됨
운영비 감소: 약 96% 절감- 프론티어 모델 추정치 ≈ $27M/year → 파인튜닝 모델 ≈ $1M/year
프롬프트 토큰 압축: 약 6,000 → 약 1,500 토큰- Gist 압축 적용 전후 토큰 수 비교
time-to-first-token 감소: 약 19% 감소- Gist 토큰 적용 시 부하 테스트(350 rpm) 결과
end-to-end 지연 감소: 약 38% 감소- Gist 토큰 적용 시 부하 테스트(350 rpm) 결과
처리량/하드웨어 이득: 약 16% 처리량 증가, 약 14% GPU 절감- 동일 GPU에서의 초당 요청·토큰 처리량 변화로 산출된 근사치

섹션별 상세

품질 정의와 루브릭

제품 수준에서 무엇이 '좋은 응답'인지 먼저 규정하는 과정이 루프의 출발점입니다. 구체적 평가지표(완결성, 실행력, 응답 품질, 안전성)를 정하고 각 점수의 실제 앵커 예시를 만들어 주석자들이 일관되게 판정할 수 있게 합니다. 무작위 샘플을 포함한 실제 트래픽 기반의 골든셋과 전문가 간 일치도(Cohen's kappa) 측정으로 루브릭의 모호성을 검증하고, 판정자의 상한선이 곧 자동 판정자(judge)의 현실적 성능 한계가 됩니다.

Sidekick의 지속 학습 루프를 개념적으로 보여주는 다이어그램입니다. — Diagram이미지는 플라이휠 형태로 문제 수집→비평→수리→재생→학습의 순환 흐름을 시각화해 루프의 자동화와 반복성을 강조합니다. 각 단계에서 판정자와 비평자 패널, 중재자, 인간 주석자가 어떻게 연결되는지 개념적 관계를 보여주므로 본문에 대한 구조적 이해를 돕습니다. 실험 수치 대신 프로세스 흐름을 증거로 삼는 도판입니다.

플라이휠 최적화 과정의 단계별 박스 다이어그램입니다. — Diagram이미지에는 그라운드 트루스 세트 구축, LLM을 판정자로 조정, 초기 MVP 빌드, 데이터 수집·자가 치유 등 단계가 순서도로 배치돼 있으며 우측에 모델 트레이닝·Gist 압축 단계가 연결됩니다. 이 순서도는 문서가 제안하는 전형적 워크플로우(허니스 개선→데이터 채굴→파인튜닝)를 한눈에 정리해 줍니다.

판정자 보정과 검증

루브릭을 자동 판정자의 초기 프롬프트로 삼아 DSPy 같은 도구와 GEPA·Agentic Context Engineering 같은 반영적 최적화법으로 판정자 프롬프트를 진화시킵니다. 판정자는 오프라인 메트릭이므로 과거 A/B 실험의 방향성 재현(backtest)과 의도적 열화 테스트로 온라인 성능과 정렬되는지 확인해야 합니다. 판정자를 작게 설계하면 특정 행동 변화가 점수에 어떻게 반영되는지 해석하기 쉬워지고 잘못된 최적화 위험을 줄일 수 있습니다.

사람 주석자 간 합의도와 자동 판정자의 상대적 일치도를 보여주는 그래픽입니다. — Infographic상단에서는 여러 주석자가 Pass/Borderline 같은 레이블을 달아 일부 사례에서 전문가조차 의견이 갈리는 점을 보여주고, 하단 수평막대는 인간 합의 83%와 판정자 80% 지점을 표기해 판정자의 현실적 상한선을 설명합니다. 이는 판정자 보정 목표와 '판정자는 완벽할 필요가 없다'는 논지를 시각적 근거로 제공합니다.

프론티어 기반 초기 제품과 자동 연구

프론티어 모델을 빠르게 제품화해 사용자 피드백을 받는 초기 단계에서는 모델 가중치를 만지지 않고 프롬프트, 툴 정의, 허니스(harness) 수준에서 최적화를 진행합니다. 이 단계의 문제는 제품 동작이 많은 코드·프롬프트·오케스트레이션에 흩어져 있고 단일 프롬프트만으로는 개선 범위가 제한된다는 점입니다. 그래서 에이전트가 작은 편집을 제안하고 판정자로 평가해 개선안을 유지·폐기하는 autoresearch 루프를 도입해 대규모 코드·프롬프트 공간을 자동으로 탐색합니다.

autoresearch 구성을 마크다운으로 적은 예시 스크린샷입니다. — Screenshot스크린샷은 데이터, 환경, 평가, 최적화 방식과 루프 단계를 마크다운 형식으로 기록해 사람·자동 에이전트 간 협업 지침을 코드화하는 방법을 보여줍니다. 실제 실험 실행 파일로써 어디를 자동 수정 허용할지, 어떤 판정자를 쓸지 명시해 자동 제안-평가-유지 프로세스를 운영 가능한 문서로 만드는 실무 관행을 드러냅니다.

자가 치유 파이프라인으로 실패를 학습 신호로 변환

운영에서 낮은 점수를 받은 대화를 검출하면 여러 프론티어 reasoning 모델이 비판(critique)을 생성하고, 중재자(arbitrer)가 이를 합쳐 수리 지침(repair instruction)을 만든 뒤 사용자 발화 앞에 주입하고 대화를 재생합니다. 재생 결과가 판정자의 기준을 통과하면 그 궤적은 강화학습 보상 신호로 사용되고, 통과하지 못하면 Toloka 같은 전문 주석자에게 보내져 사람 검정으로 교정됩니다. 이 자동→사람 보정 결합으로 매일 새로운 '성공 궤적'을 모아 학습 데이터로 누적할 수 있습니다.

markdown

# Optimize the teacher

## Data
Pull production conversations and synthetic rollouts.

## Environment
prompts/    system and tool prompts
tools/      tool definitions
harness/    agent control flow

## Evaluation
Run the calibrated judge. Keep a change only if the score improves.

## Optimizer
GEPA or Agentic Context Engineering, written as markdown.

## Loop
Propose an edit → evaluate → keep or discard → repeat.

프로젝트의 autoresearch 설정 파일 예시로, 데이터 소스와 편집 가능 디렉터리, 평가용 판정자, 최적화 알고리즘(GEPA 등) 및 제안→평가→유지/폐기 루프를 하나의 마크다운에 지정해 자동 실험을 수행하도록 구성하는 형식입니다. 이 구성은 사람-검증-자동 반복 사이의 경계를 명확히 해 작은 편집만으로도 안전하게 성능 변화를 검증하게끔 만듭니다.

실패한 대화가 비평자·중재자를 거쳐 수리 지침으로 재삽입되는 흐름도입니다. — Diagram이 도표는 실패 대화를 세 비평자가 각기 문제를 지적하고 중재자가 이를 합쳐 수리 지침을 만든 뒤 대화 재생이 시작되는 과정을 단계적으로 보여줍니다. 자동 수리(repair)→재생→판정 통과 시 학습 데이터로 흡수되는 파이프라인의 핵심 메커니즘을 시각적으로 확인할 수 있어 본문 기술과 직접 부합합니다.

파라미터 공간 최적화: SFT와 GRPO

자가 치유로 생성한 성공 궤적은 두 단계로 모델에 흡수됩니다. 먼저 체인 오브 소트(chain-of-thought) 형태의 전체 궤적을 포함해 감독 학습(SFT)으로 소형 모델을 증류해 모사 학습을 시키고, 다음으로 판정자 점수를 보상으로 하는 GRPO로 직접 품질 지표를 최적화합니다. 이때 판정자의 점수는 샘플별 비교 평가에서 높은 점수를 받은 응답 패턴을 강화하는 역할을 하며, 주기적 전체 파라미터 파인튜닝과 GRPO를 번갈아 실행해 망각을 제한합니다.

Gist 토큰으로 프롬프트 비용 절감

정적 시스템 프롬프트가 수천 토큰에 달하면 어텐션 비용이 고정세로 붙어 전체 지연과 비용을 악화시킵니다. Gist 압축은 긴 프롬프트를 고정 길이의 학습된 임베딩 토큰(약 6,000→1,500 토큰 사례)으로 대체해 교사 모델의 출력을 재현하도록 학생 임베딩을 학습합니다. 실험에서는 judge 기준에서 품질 손실이 관찰되지 않으면서 time-to-first-token 약 19%, end-to-end 지연 약 38% 감소와 처리량 증가를 확인해 운영 비용과 하드웨어 요구량을 눈에 띄게 낮췄습니다.

근거

Gist 토큰으로 시스템 프롬프트를 약 6,000토큰에서 약 1,500토큰으로 압축해 time-to-first-token은 약 19% 감소, end-to-end 지연은 약 38% 감소했다. — 본문의 Gist 압축 실험 수치와 해당 수치가 요약된 문단, 이미지(프라이빗 실험 결과) 참조.

GraphQL agent 사례: 운영 증거

Shopify의 GraphQL agent는 매분 최대 2,000 요청을 처리하며 상용 트래픽에서 플라이휠 루프를 가동한 대표적 예시입니다. 자가 치유로 수집된 궤적을 SFT와 GRPO로 주기적으로 학습해 프론티어 기반 초기 시스템보다 높은 품질을 달성했고, 프론티어 추론으로 운영했을 때 연간 약 2,700만 달러로 추정되던 추정치가 파인튜닝 모델로 약 100만 달러 수준으로 줄어 96% 비용 절감이 보고되었습니다. 또한 gist 압축과 모델 경량화로 지연과 하드웨어 사용량이 크게 줄어 동일한 GPU에서 처리량이 늘어난 효과를 보였습니다.

상점주가 재고 관련 질문을 하고 에이전트가 툴 연쇄로 답을 생성한 대화 예시입니다. — Screenshot이미지는 introspect_schema→search_docs→execute_query 같은 툴 호출 시퀀스와 최종 응답을 한 화면에 보여주어 에이전트가 외부 API(GraphQL)를 호출해 결과를 요약하는 실제 동작을 예시로 제공합니다. 이 예시는 플라이휠이 다루는 실무적 오용·오류 유형과 툴 정의가 모델 행동에 미치는 영향을 명확히 보여줍니다.

데이터셋 크기별로 judge 점수가 상승하는 그래프입니다. — Chart가로축은 데이터셋 크기, 세로축은 judge 점수로 13k(61.5)부터 61k(73.5)까지 점수가 연속 상승해 데이터 누적에 따른 품질 향상을 수치로 보여줍니다. 생산 기준선과 프론티어 레퍼런스 기준선이 함께 표기되어 있어 파라미터 최적화·증류가 프론티어 기준을 넘는 시점을 가시적으로 확인할 수 있습니다.

근거

자가 치유 파이프라인과 지속 학습으로 파인튜닝된 모델이 프론티어 기반 초기 제품 성능을 능가한다. — 본문 설명과 GraphQL agent 사례, 이미지 7(GraphQL distillation)에서 데이터셋 크기별 judge 점수 상승이 근거로 제시됨.
프론티어 모델로 서비스했을 경우 연간 운영비가 약 2,700만 달러로 추정되었고, 파인튜닝 모델로는 약 100만 달러로 줄어 비용이 96% 감소했다. — 본문의 비용 추정 수치 문장 및 GraphQL agent 비용 비교 서술.
GraphQL agent는 최대 2,000 requests per minute를 처리한다. — 본문의 GraphQL agent 운영 현황 문장.

용어 해설

플라이휠(지속 학습 루프)(Flywheel): — 생산 환경에서 발생한 실패 사례를 판정(judge)으로 점수화하고, 판정 점수를 보상 신호로 삼아 수집→수정→재생(replay)→파인튜닝을 주기적으로 수행해 모델 파라미터로 압축하는 지속 학습 루프입니다. 루프는 자동화된 비평자 패널, 중재자(arbitrer), 재생 재입력과 인간 보정 단계를 포함해 매일 새로운 학습 궤적을 추가합니다. 핵심 목적은 반복되는 운영 지식을 프롬프트·코드가 아닌 모델의 연속적 파라미터 공간에 반영해 소형 모델이 프론티어 모델 성능을 능가하도록 만드는 것입니다.
판정자(주석자) 보정(Judge calibration): — 제품 요구를 점수화한 루브릭을 바탕으로 자동 판정자(judge)의 프롬프트를 튜닝하고, 백테스트·감퇴 테스트로 오프라인 메트릭이 실제 트래픽을 반영하는지 확인하는 과정입니다. 보정은 소수의 전문가 간 일관성(예: Cohen's kappa)으로 시작해 판정자가 사람과 비슷한 상한선까지 동작하도록 만듭니다. 판정자는 이후 강화학습 보상 신호와 재생 스코어링의 기준이 됩니다.
Gist 토큰 압축(Gist compression): — 긴 정적 시스템 프롬프트를 고정된 길이의 학습된 임베딩 토큰 집합으로 대체해 시퀀스 길이를 크게 줄이는 기법입니다. 교사 모델(긴 프롬프트) 출력을 유지하도록 gist 토큰 임베딩을 학습시키고 모델 파라미터는 동결해 품질 저하 없이 프롬프트 길이를 축소합니다. 결과적으로 추론시 어텐션 비용과 지연을 줄여 처리량을 늘리고 운영비를 절감합니다.

기술

GraphQL
GEPA
Agentic Context Engineering
GRPO
Gist tokens
Toloka

언급된 리소스

문서원문 링크