LLM 스케줄링 Kaggle 경진대회: 소형 모델 실행 여부 결정하기

실용적 조언

LLM 파이프라인 설계 시 질문의 난이도를 사전에 분류하여 모델 호출 여부를 결정하면 운영 비용을 크게 줄일 수 있다.
오답 시의 리스크가 큰 도메인에서는 페널티 가중치를 높게 설정하여 스케줄링 로직을 보수적으로 운영해야 한다.

섹션별 상세

MMLU 벤치마크 질문에 대해 2B 규모의 소형 모델을 실행할지 혹은 실행하지 않을지 결정하는 스케줄링 로직을 설계해야 한다. 입력된 질문의 난이도나 특성을 파악하여 모델이 정답을 맞힐 수 있을 때만 자원을 투입하는 것이 핵심이다. 이를 통해 무분별한 모델 호출로 인한 자원 낭비를 방지하는 메커니즘을 학습할 수 있다.

평가 지표는 단순 정확도가 아닌 가중치 기반의 비용 함수를 사용한다. 모델 실행 시 발생하는 기본 연산 비용과 더불어, 모델이 오답을 냈을 때 발생하는 높은 페널티, 그리고 정답을 맞힐 수 있는 기회를 놓쳤을 때의 기회비용을 합산하여 계산한다. 현재는 사용자 모델의 자체 실행 비용은 제외되어 있으나 향후 더 복잡한 의사결정 구조로 확장될 예정이다.

참가자들은 단순한 규칙 기반 시스템부터 정교한 분류기(Classifier)까지 다양한 접근 방식을 시도할 수 있다. 질문 텍스트의 임베딩이나 메타데이터를 분석하여 소형 모델의 성공 가능성을 예측하는 모델을 만드는 것이 주요 과제이다. 이는 실무에서 고비용 대형 모델과 저비용 소형 모델 사이의 라우팅 전략을 수립하는 것과 유사한 인사이트를 제공한다.

용어 해설

대규모 다중 작업 언어 이해(MMLU): — 언어 모델의 지식과 문제 해결 능력을 측정하기 위해 인문학, 사회과학, STEM 등 57개 주제를 다루는 벤치마크이다. 이 아티클에서는 모델의 정답 여부를 판단하는 기초 데이터셋으로 활용된다.
토큰 비용(Token Cost): — LLM이 텍스트를 처리할 때 발생하는 계산 자원 또는 금전적 비용을 의미한다. 효율적인 리소스 관리를 위해 답변의 정확도를 유지하면서 이 비용을 최소화하는 것이 실무적 과제이다.
가중 비용(Weighted Cost): — 모델 실행 비용, 오답 시의 페널티, 정답 가능 문항을 건너뛰었을 때의 손실 등을 각각 다른 가중치로 합산한 지표이다. 단순 정확도보다 비즈니스 효율성을 평가하기에 적합하다.

언급된 도구

Kaggle추천

LLM 스케줄링 경진대회 호스팅 플랫폼

언급된 리소스

DemoLLM Scheduling Competition (Kaggle)