핵심 요약
Instacart의 AI 스마트 카트 'Caper'는 실제 매장 환경의 복잡한 데이터를 수집하고 모델을 개선하는 데 어려움을 겪어왔다. 이를 해결하기 위해 엣지 데이터 수집부터 클라우드 학습까지 연결하는 엔드투엔드 플랫폼 'Capsight'를 구축했다. Capsight는 지능형 데이터 수집(Collector), 데이터 관리 및 AI 보조 라벨링(Depot), 분산 학습(Learner)의 세 가지 핵심 요소로 구성된다. 이 시스템 도입을 통해 모델 학습 주기를 1개월에서 1주일로 단축하고, 실제 데이터 기반의 모델 정확도를 5% 이상 향상시키는 성과를 거두었다.
배경
컴퓨터 비전 기초, 분산 학습(Ray) 프레임워크 이해, 엣지 컴퓨팅 및 센서 데이터 처리 개념
대상 독자
리테일 테크 및 엣지 AI 시스템을 구축하는 ML 엔지니어 및 아키텍트
의미 / 영향
실전 환경의 데이터를 실시간으로 학습 루프에 반영하는 데이터 플라이휠의 실질적인 구현 사례이다. 특히 VLM을 활용한 라벨링 자동화와 엣지 컴퓨팅 최적화는 대규모 AI 하드웨어 배포를 준비하는 기업들에게 중요한 벤치마크가 될 것이다.
섹션별 상세
Capsight Collector는 Caper 카트 내부에서 실행되는 지능형 에이전트로, 카메라, 무게 센서, 위치 센서 등 멀티모달 데이터를 동기화하여 수집한다. 네트워크 부하와 저장 공간 문제를 해결하기 위해 특정 이벤트가 감지될 때만 캡처를 시작하는 트리거 기반 시스템을 채택했다. 전용 하드웨어를 활용한 비디오 인코딩으로 카트의 기본 AI 성능에 영향을 주지 않으면서 데이터를 안전하게 로컬에 저장하고 최적의 시점에 업로드한다.
Capsight Depot는 수집된 대규모 원천 데이터를 정제하고 인덱싱하여 검색 및 시각화가 가능한 학습 데이터셋으로 변환한다. 특히 수백만 개의 이미지를 수동으로 라벨링하는 병목 현상을 해결하기 위해 VLM(Vision Language Model)과 교사 모델을 결합한 사전 라벨링 서비스를 도입했다. 이 방식을 통해 라벨링 비용을 70% 이상 절감하고, 며칠이 걸리던 작업을 단 몇 시간으로 단축하며 데이터의 정확도를 높였다.
Capsight Learner는 Ray 기반의 분산 학습 플랫폼을 통해 Depot에서 큐레이션된 데이터셋을 사용하여 모델을 자동으로 학습하고 평가한다. 자동화된 평가 파이프라인이 표준화된 테스트 세트를 기준으로 모델 성능을 검증하며, 검증된 개선 사항만 프로덕션에 배포되도록 보장한다. 이를 통해 모델 학습 단계에 소요되는 시간을 기존 1주일에서 2일로 단축하여 전체적인 혁신 속도를 높였다.
실무 Takeaway
- 트리거 기반 수집 시스템을 통해 테라바이트급의 불필요한 데이터 대신 고가치 데이터만 선별하여 엣지 장비의 리소스와 네트워크 대역폭을 최적화함
- VLM을 활용한 사전 라벨링 파이프라인 구축으로 데이터 라벨링 비용을 70% 절감하고 수동 작업 시간을 획기적으로 단축함
- 데이터 수집부터 배포까지의 전 과정을 자동화된 플라이휠로 구축하여 모델 업데이트 주기를 1개월에서 1주일로 4배 가속화함
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료