SkillOrchestra: 스킬 전이를 통한 에이전트 라우팅 학습 프레임워크

여러 AI 모델을 조합해 사용할 때 어떤 모델을 호출할지 결정하는 라우팅은 시스템의 성능과 비용을 결정하는 핵심 요소이다. 이 논문은 기존 강화학습 방식의 고비용 문제와 특정 모델 편중 현상을 '스킬' 기반의 지식 베이스 구축으로 해결하여, 재학습 없이도 다양한 모델에 즉시 적용 가능한 효율적인 오케스트레이션 방안을 제시한다.

기존의 AI 모델 라우팅은 강화학습(RL)을 통해 어떤 상황에 어떤 모델을 쓸지 통째로 학습한다. 하지만 이는 마치 모든 상황에 대한 정답지를 외우는 것과 같아서, 새로운 모델이 추가되면 처음부터 다시 학습해야 하고 결국 가장 성능 좋은 모델 하나만 계속 부르는 '라우팅 붕괴'에 빠지기 쉽다.

SkillOrchestra는 이 문제를 해결하기 위해 '스킬(Skill)'이라는 중간 추상화 계층을 도입한다. 이는 모델의 능력을 '수학', '검색', '코딩' 등으로 세분화하여 각 모델이 어떤 스킬에 강하고 비용은 얼마인지 기록한 'Skill Handbook'을 만드는 방식이다.

작동 원리는 실행 기록에서 성공과 실패 사례를 비교해 필요한 스킬을 정의하고, 각 모델의 스킬별 성공 확률을 통계적으로 관리하는 것이다. 배포 시에는 현재 질문에 필요한 스킬을 파악한 뒤, Handbook을 참조해 가성비가 가장 좋은 모델을 선택한다.

결과적으로 모델의 파라미터를 직접 수정하지 않고 외부 지식(Handbook)을 활용하므로, 오케스트레이터 모델이 바뀌어도 지식을 그대로 옮겨 쓸 수 있으며 훨씬 적은 데이터로도 정교한 운영이 가능해진다.

Skill Handbook은 모드 선택 통찰력, 세부 스킬 레지스트리, 에이전트 프로필의 3단계 구조로 설계된다. 모드 선택 통찰력은 현재 상태에서 검색을 할지 코딩을 할지 결정하는 가이드를 제공하며, 스킬 레지스트리는 각 모드 내에서 요구되는 구체적인 능력을 정의한다.

Handbook 학습은 2단계로 진행된다. 1단계 '스킬 발견'에서는 성공한 궤적과 실패한 궤적의 차이를 분석하여 부족한 능력을 새로운 스킬로 추출한다. 이때 에이전트의 성공 확률은 베타 분포를 사용하여 업데이트한다. [성공/실패 횟수를 입력으로] → [베타 분포의 파라미터를 갱신하여] → [스킬별 성공 확률의 기댓값을 계산하고] → [이 값을 에이전트의 역량 지표로 활용한다].

2단계 'Handbook 정제'에서는 에이전트 성능의 분산이 크면 스킬을 쪼개고, 성능 프로필이 비슷하면 스킬을 합치는 과정을 거친다. 이후 타겟 오케스트레이터의 추론 능력에 맞춰 최적의 스킬 입도를 선택하는 Pareto-optimal 검증을 수행한다.

추론 시에는 현재 상태에서 필요한 스킬 집합을 식별한다. 이후 각 에이전트에 대해 가중 평균 성능에서 비용 페널티를 차감하는 연산을 수행하여 최종 유틸리티 점수를 얻는다. [스킬별 가중치와 성공 확률을 입력으로] → [성능-비용 트레이드오프 연산을 수행해] → [최종 점수를 산출하고] → [가장 점수가 높은 에이전트를 호출한다].

10개의 벤치마크 실험 결과, SkillOrchestra는 기존 SOTA RL 기반 오케스트레이터인 Router-R1 및 ToolOrchestra 대비 최대 22.5%의 성능 향상을 기록했다. 특히 학습 비용 측면에서 Router-R1 대비 700배, ToolOrchestra 대비 300배의 절감 효과를 보였다.

라우팅 붕괴 현상을 효과적으로 억제함이 확인됐다. Router-R1이 특정 고성능 모델(LLaMA-3.1-70B)을 98% 이상 선택한 반면, SkillOrchestra는 작업 난이도에 따라 Mixtral-8x22B(44.5%), Qwen2.5-7B(26%) 등 다양한 모델을 골고루 활용하여 비용 효율성을 극대화했다.

전이 학습 성능에서도 우수성을 입증했다. Qwen2.5-3B로 학습한 Skill Handbook을 Llama3.1-8B나 Mistral-7B 등 다른 모델에 적용했을 때도 성능이 일관되게 향상되었으며, 오케스트레이터 모델이 강력할수록 Handbook 활용에 따른 성능 이득이 더 커지는 것으로 나타났다.

SkillOrchestra 아키텍처는 오케스트레이터의 파라미터를 직접 수정하지 않는 비침습적 구조를 채택한다. 대신 외부 지식 저장소인 Skill Handbook을 참조하여 의사결정을 내리는 '검색 기반 실행(Retrieval-Execution)' 사이클을 따른다.

스킬 모델링은 자연어 설명과 해당 스킬이 필요한 상황을 나타내는 컨텍스트 지표의 쌍으로 정의된다. 에이전트 프로필은 스킬별 성공 확률 추정치와 비용 통계를 포함하며, 이는 베타 분포 기반의 베이지안 업데이트를 통해 정교화된다.

최적의 Handbook 선택 과정은 오케스트레이터의 추론 능력과 비용 예산에 맞춰 스킬의 세분화 정도를 동적으로 조절하는 최적화 문제를 푸는 것과 같다. 이는 검증 데이터셋에서의 성능-비용 트레이드오프를 직접 평가하여 결정된다.

기존 강화학습 방식이 정책 네트워크의 가중치에 라우팅 지식을 암묵적으로 저장하는 것과 달리, SkillOrchestra는 이를 명시적인 그래프 구조로 관리함으로써 해석 가능성과 확장성을 확보한 것이 기술적 차별점이다.

미세한 스킬 분해가 오케스트레이터의 추론 능력을 초과할 경우 오히려 라우팅 편향을 유발하고 성능을 저하시킬 수 있다. 또한, 학습된 Handbook의 효과가 타겟 오케스트레이터의 기본 성능에 의존적이라는 점이 한계로 작용할 수 있다.