로컬 및 클라우드 AI 에이전트 최적 라우팅을 위한 오픈소스 오케스트레이터 Mahoraga 공개

작성자의 상세한 벤치마크 데이터와 오픈소스 공개에 대해 긍정적인 반응이 예상되며, 특히 로컬 모델의 실무 적용 가능성에 대한 관심이 높다.

• 로컬 모델 사용 시 Qwen3 4B와 같이 추론 효율이 검증된 모델을 우선 고려하라.
• 반복적인 작업 라우팅에는 LinUCB와 같은 강화학습 알고리즘을 도입하여 최적화하라.

Contextual Bandit

— 사용자의 문맥 정보를 활용하여 여러 선택지 중 보상을 최대화하는 행동을 결정하는 강화학습 알고리즘이다. 이 글에서는 LinUCB 알고리즘을 사용하여 각 작업의 특성에 따라 가장 적합한 AI 모델을 동적으로 선택하고 학습하는 라우팅 엔진의 핵심 로직으로 사용되었다.

LinUCB

— 문맥적 밴딧 문제에서 보상 함수가 문맥 벡터의 선형 함수라고 가정하고 상한 신뢰 구간을 계산하여 탐색과 활용의 균형을 맞추는 알고리즘이다. Mahoraga 프로젝트에서 작업 유형별 최적의 모델을 선택하기 위해 9차원 문맥 벡터를 처리하는 데 활용되었다.

Tokens per Second (t/s)

— AI 모델이 텍스트를 생성하는 속도를 나타내는 지표로, 1초에 생성되는 토큰의 개수를 의미한다. 로컬 모델의 성능을 평가할 때 추론 효율성을 판단하는 핵심 수치로 사용되며, 본문에서는 Qwen3 4B 모델이 33.8 t/s의 속도를 기록했다.

Regret

— 강화학습에서 최적의 선택을 했을 때와 실제 선택했을 때의 보상 차이를 누적한 값이다. Mahoraga의 라우팅 알고리즘 성능을 평가하는 지표로 사용되었으며, 시간이 지남에 따라 최적의 모델 선택으로 수렴하는지를 나타내는 'Sublinear Regret' 달성 여부가 중요하다.