LLM 스케줄링 Kaggle 경진대회: 소형 모델 실행 여부 결정하기

작성자가 직접 Kaggle 대회를 런칭하며 아이디어를 공유했고, 리소스 관리와 비용 절감에 관심 있는 사용자들의 참여를 독려하고 있다.

• LLM 파이프라인 설계 시 질문의 난이도를 사전에 분류하여 모델 호출 여부를 결정하면 운영 비용을 크게 줄일 수 있다.
• 오답 시의 리스크가 큰 도메인에서는 페널티 가중치를 높게 설정하여 스케줄링 로직을 보수적으로 운영해야 한다.

• LLM 운영 비용 최적화를 위해 모든 질문에 모델을 실행하는 대신 성공 가능성에 기반한 스케줄링 전략이 필수적이다.
• 오답 페널티와 실행 비용을 결합한 가중 비용 지표를 통해 모델의 경제적 효용성을 정량적으로 평가할 수 있다.
• MMLU와 같은 표준 벤치마크를 활용하여 소형 모델(2B)의 한계와 활용 가능 시점을 데이터 기반으로 판단하는 훈련이 가능하다.