로컬 및 클라우드 AI 에이전트 최적 라우팅을 위한 오픈소스 오케스트레이터 Mahoraga 공개

실용적 조언

로컬 모델 사용 시 Qwen3 4B와 같이 추론 효율이 검증된 모델을 우선 고려하라.
반복적인 작업 라우팅에는 LinUCB와 같은 강화학습 알고리즘을 도입하여 최적화하라.

섹션별 상세

작성자는 16GB MacBook Pro 환경에서 8개의 에이전트를 대상으로 192개의 작업을 수행하여 로컬 모델의 경쟁력을 확인했다. Qwen3 4B 모델은 코드 생성 및 리팩터링 작업에서 33.8 t/s의 속도와 6.1초의 평균 지연 시간을 기록하며 클라우드 에이전트보다 우수한 성능을 보였다. 이는 특정 작업군에서 로컬 모델이 비용 효율성뿐만 아니라 절대적인 품질 면에서도 클라우드 모델을 앞설 수 있음을 시사한다.

Mahoraga의 라우팅 시스템은 키워드 분류기와 문맥적 밴딧(LinUCB)의 2단계 구조로 작동한다. 먼저 키워드 분류기가 작업을 코드, 계획, 연구 등의 버킷으로 분류하면, LinUCB 알고리즘이 9차원 문맥 벡터를 기반으로 해당 버킷 내 최적의 에이전트를 선택한다. 200회 작업 시뮬레이션 결과, 알고리즘이 최적의 선택으로 수렴함을 의미하는 Sublinear Regret(β=0.659)이 관찰되었다.

모델 평가를 위해 LLM-as-judge 방식 대신 4계층 휴리스틱 점수 산정 시스템을 도입하여 API 비용을 제거했다. 이 시스템은 코드의 참신성 비율, 구조적 검사, 임베딩 유사도, 길이 비율을 종합하여 품질 점수를 계산한다. 다만 보안 점수의 경우 모든 에이전트에서 동일하게 나타나는 한계가 발견되어 향후 보안 특화 신호를 포착할 수 있는 스코어러 개선이 필요함이 확인됐다.

로컬 환경에서의 추론 효율성에 대한 구체적인 데이터가 제시되었다. LFM2 모델은 77.1 t/s로 가장 빠른 속도를 보였으나 Qwen3 4B 대비 품질 점수가 약 5점 낮았으며, DeepSeek-R1은 16GB RAM 환경에서 작업당 평균 123.5초가 소요되어 기본 모델로 사용하기에는 추론 오버헤드가 너무 큼이 밝혀졌다. 이를 통해 하드웨어 제약 조건 하에서 모델 선택의 트레이드오프 관계를 명확히 규명했다.

용어 해설

문맥적 밴딧(Contextual Bandit): — 사용자의 문맥 정보를 활용하여 여러 선택지 중 보상을 최대화하는 행동을 결정하는 강화학습 알고리즘이다. 이 글에서는 LinUCB 알고리즘을 사용하여 각 작업의 특성에 따라 가장 적합한 AI 모델을 동적으로 선택하고 학습하는 라우팅 엔진의 핵심 로직으로 사용되었다.
선형 상한 신뢰 구간(LinUCB): — 문맥적 밴딧 문제에서 보상 함수가 문맥 벡터의 선형 함수라고 가정하고 상한 신뢰 구간을 계산하여 탐색과 활용의 균형을 맞추는 알고리즘이다. Mahoraga 프로젝트에서 작업 유형별 최적의 모델을 선택하기 위해 9차원 문맥 벡터를 처리하는 데 활용되었다.
초당 토큰 수(Tokens per Second (t/s)): — AI 모델이 텍스트를 생성하는 속도를 나타내는 지표로, 1초에 생성되는 토큰의 개수를 의미한다. 로컬 모델의 성능을 평가할 때 추론 효율성을 판단하는 핵심 수치로 사용되며, 본문에서는 Qwen3 4B 모델이 33.8 t/s의 속도를 기록했다.
후회(Regret): — 강화학습에서 최적의 선택을 했을 때와 실제 선택했을 때의 보상 차이를 누적한 값이다. Mahoraga의 라우팅 알고리즘 성능을 평가하는 지표로 사용되었으며, 시간이 지남에 따라 최적의 모델 선택으로 수렴하는지를 나타내는 'Sublinear Regret' 달성 여부가 중요하다.

언급된 도구

Mahoraga추천링크

로컬 및 클라우드 AI 에이전트 간의 작업을 최적 라우팅하는 오픈소스 오케스트레이터

Ollama추천

로컬 환경에서 LLM을 실행하기 위한 추론 엔진

Qwen3 4B추천

코드 생성 및 리팩터링 작업에서 우수한 성능을 보인 경량 언어 모델

언급된 리소스

GitHubMahoraga GitHub Repository