프로덕션 루프 완성: LLM 트레이스에서 합성 데이터 생성 및 0.6B 특화 모델 파인튜닝까지

대체로 긍정적이며, 특히 실제 운영 데이터를 활용해 비용을 절감하면서 성능을 높이는 실무적인 접근 방식에 높은 관심을 보였다.

• 소형 특화 모델 도입 시, 예측 결과의 신뢰도를 측정하여 기준 미달 시 대형 모델로 폴백(Fallback)하는 라우팅 로직을 반드시 포함하라.
• 데이터 큐레이션 단계에서 LLM 판별기를 활용하면 수동 라벨링 비용과 시간을 획기적으로 줄일 수 있다.

• 0.6B 소형 모델이 특정 도메인(IoT 함수 호출)에서 120B 대형 모델의 성능(50.0%)을 크게 앞지르는 79.5%의 정확도를 달성했다.
• dlt, Distil Labs, Hugging Face를 결합한 모듈형 파이프라인을 통해 데이터 추출부터 모델 배포까지 전 과정을 자동화했다.
• 실제 사용자 트래픽 패턴을 반영한 합성 데이터 생성이 소형 모델을 전문가 모델로 만드는 핵심 동력임이 확인됐다.
• vLLM 및 llama.cpp 지원을 통해 로컬 환경이나 클라우드 어디서든 초경량 모델을 즉시 배포하고 운영할 수 있다.