로컬 LLM 추론과 클라우드 모델 간의 효율적인 라우팅 전략

실용적 조언

로컬 LLM과 클라우드 모델 간의 효율적 분기를 위해 라우팅 시스템을 구축했다. 프롬프트 길이, 출력 유형, 도구 사용 여부, 분류기 신뢰도 점수를 기반으로 요청을 처리한다.

실제 내부 작업 220개 프롬프트 평가 결과, 요약 및 검색 재작성 작업은 로컬 모델로 충분했다. 반면 인용이 중요한 법률 추론이나 복잡한 도구 사용 워크플로는 클라우드 모델이 더 나은 성과를 보였다.

라우팅 정책 도입 후 요청 수 기준 93%는 로컬, 7%는 클라우드로 처리된다. 토큰 수 기준으로는 클라우드 호출이 길어 22%를 차지하며, 이는 모델 운영보다 정책 결정이 더 중요한 문제임을 시사한다.

라우팅 규칙의 유효성이 시간이 지남에 따라 떨어지는 'eval drift' 문제가 발생했다. 매주 금요일 샘플링을 통해 수동으로 라우팅 규칙을 검증하고 수정하는 과정을 거쳐야 한다.

전문가 혼합 모델(MoE): — 여러 개의 작은 전문가 모델을 두고 입력에 따라 필요한 전문가만 활성화하여 연산 효율을 높이는 구조. 대규모 모델의 파라미터 수를 늘리면서도 추론 비용을 절감하는 데 핵심적이다.
활성화 인식 가중치 양자화(AWQ): — 모델 가중치를 양자화할 때 활성화 값의 중요도를 고려하여 성능 저하를 최소화하는 기법. 4-bit 양자화 환경에서 모델의 정확도를 유지하는 데 필수적이다.
키-값 캐시(KV Cache): — LLM 추론 시 이전 토큰들의 연산 결과를 저장해두어 중복 계산을 방지하는 메모리 영역. 긴 문맥 처리 시 메모리 병목의 주원인이 된다.
텐서 병렬화 4(TP4): — 모델의 가중치 행렬을 4개의 GPU에 분할하여 병렬 처리하는 기법. 대형 모델을 단일 GPU 메모리에 올릴 수 없을 때 추론 속도를 높이는 데 사용된다.
평가 드리프트(Eval Drift): — 시간이 지남에 따라 사용자의 질문 패턴이 변하여 기존의 평가 기준이나 라우팅 규칙이 더 이상 유효하지 않게 되는 현상. 지속적인 모니터링과 재평가가 필요하다.

vLLM추천

로컬 모델 추론 엔진

Qwen추천

로컬 MoE 모델