LLM 임베딩과 고전적 머신러닝을 결합한 효율적인 데이터 라벨링 및 예측 전략

섹션별 상세

데이터 라벨링 비용 절감: 3만 개의 장바구니 데이터를 분류할 때, LLM을 직접 사용하면 비용과 시간이 많이 소요되지만, 소량의 샘플만 LLM으로 라벨링한 뒤 이를 학습 데이터로 활용하면 비용을 99% 이상 절감할 수 있다.

근거

30,000 baskets labelled with a meaningful shopping-reason taxonomy, end to end, for ~£25.55. — Part 1 - Why do people shop? 섹션

임베딩을 활용한 특징 추출: 임베딩은 단순한 카테고리 분류를 넘어 데이터 간의 의미론적 관계를 고차원 벡터 공간에 투영하며, 이는 고전적 머신러닝 모델이 데이터의 맥락을 이해하는 강력한 특징으로 작용한다.

하이브리드 워크플로 구축: LLM이 생성한 고품질 라벨을 타겟으로, 임베딩을 입력값으로 사용하여 XGBoost 모델을 학습시키면 대규모 데이터셋에 대해 즉각적이고 저비용인 예측이 가능하다.

임베딩 차원의 재해석: 임베딩 모델이 제공하는 차원 중 상위 차원이 항상 특정 작업에 최적인 것은 아니며, SHAP 분석 등을 통해 작업별로 가장 중요한 임베딩 차원을 선택하는 것이 성능 최적화의 핵심이다.

근거

Top SHAP-importance features are specific embedding dimensions (embedding_160, embedding_472, embedding_329, …). — Part 2 - Take the human out of the loop 섹션