RouteProfile: 차가운 시작 LLM 라우팅을 위한 그래프 기반 프로파일링

LLM 생태계가 확장되면서 모델 간 capability 편차가 커진다. 신규 모델의 쿼리-응답 상호작용 데이터가 부족한 차가운 시작 상황에서 적합한 모델을 선택하기 어렵다. RouteProfile은 공개 신호를 그래프 구조로 통합해 차가운 시작 라우팅의 프로파일링을 가능하게 하고, 라우터의 일반화와 적응성을 높인다.

출발점: 라우팅은 쿼리별로 최적의 후보 LLM을 선택하는 문제이며, 신규 모델의 쿼리-응답 상호작용 데이터가 부족한 차가운 시작 상황에서 효과적인 프로파일링이 필요하다. 기존 접근은 벤치마크 요약이나 LLM 생성 프로파일에 의존하지만, 이들 신호는 구조화가 약해 일반화에 한계가 있다. RouteProfile은 공공 신호를 이종 그래프의 노드/엣지로 구성하고 정보를 다층으로 전파하는 방식으로 프로파일을 구축한다. 네 가지 설계 축(조직 형식, 표현 방식, 축적 깊이, 학습 구성)을 통해 라우팅 성능에 가장 큰 영향을 미치는 설계 선택을 파악한다. Embedding 기반의 구조화된 프로파일은 신규 LLM 일반화에 특히 강점이 있으며, 프로파일–라우터 간의 상호 설계가 신규 모델의 빠른 도입을 좌우한다.

전체 접근은 4노드 타입과 3엣지 타입으로 구성된 이질적 그래프 G = (V, E)에서 시작한다. 노드 타입은 vm(모델 노드), vf(모델 패밀리 노드), vd(도메인 노드), vb(벤치마크 노드)이며, 엣지 타입은 emf(모델-모델 패밀리), emb(모델-벤치마크), ebd(벤치마크-도메인)이다. 노드 특징은 텍스트 설명(LLM-Description)이나 임베딩으로 초기화하고, 엣지 특징은 모델-벤치마크 간 점수 정보를 사용한다. LLM 프로파일 pm은 pm = x̂_vm = f(G) vm으로 정의되며, f는 이질 그래프 G에서의 정보 집계 함수다. 4가지 구체적 Instantiation은 다음과 같다. 1) Flat Aggregation(γ=Text, ω=Flat, K=0, ℓ=Training-free): pm = C(S(vm)). 2) Text-based GNN(γ=Text, ω=Structured, K∈{1,2,3,4}, ℓ=Training-free): 각 홉에서 텍스트 상태를 이웃으로부터 합성한 프롬프트를 LLM에 질의해 x^(k)_v를 얻고, 최종 pm = x^(K)_vm. 3) Embedding-based GNN(γ=Emb, ω=Structured, K∈{1,2,3,4}, ℓ=Training-free): 이웃의 임베딩을 가중 평균하여 업데이트하고 pm = x^(K)_vm로 정의. 4) Trainable GNN(γ=Emb, ω=Structured, K∈{1,2,3,4}, ℓ=Trainable): 노드/에지 특징의 마스킹 복구 손실 L = Lnode + Ledge를 최소화하도록 self-supervised 학습하여 프로파일을 학습한다. 5) 업스트림 그래프 구성은 15개 데이터셋, 4개 도메인, 25개 LLM, 8개 후보 LLM으로 구성된다. 6) 다운스트림에서는 두 설정을 동시에 평가하며, 훈련은 공개 신호만으로 수행된다. 7) 라우팅은 SimRouter(훈련 없음 cold-start), MLPRouter(새 LLM 통합 시 기존 데이터로 학습), GraphRouter(동일) 중 하나를 선택한다.

주요 결과 요약. 훈련 없는 차가운 시작에서 구조화된 프로파일은 Flat/Text Plain 대비 성능을 크게 개선한다. PlainText의 평균성능은 0.532이며, TextGNN-4hop은 0.580, EmbGNN-4hop은 0.577로 개선된다. TrainGNN은 1~2홉에서 0.613으로 최상위를 차지하며, 3홉 이상에서는 과도한 그래프 과적합 및 오버스무딩으로 성능이 감소한다(0.600/0.555). 모델 패밀리 메타데이터는 모든 설계에서 일관되게 성능을 향상시키고, 벤치마크 도메인 정보의 효과는 설계 및 학습 구성에 따라 달라진다. 신규 LLM 통합에서 Embedding 기반 구조화 프로파일은 일관되게 성능을 향상시켰고, GraphRouter에서 NCIR는 0.411(EmbGNN-3hop)이며 MLPRouter에서는 0.272이다. 두 라우터 모두 최상의 평균 성능을 달성하며 MLPRouter의 평균 성능은 0.624, GraphRouter의 평균 성능은 0.613에 이른다. 즉, 그래프 구조 라우터는 관계 정보를 더 잘 활용하는 경향이 있으며, 신규 모델 일반화에 있어 프로파일–라우터 간의 설계 조합이 중요하다. 또한 TrainGNN은 라우터에 따라 최적의 홋 수가 달라지며, GraphRouter와의 조합에서 특히 강력하다.

LLM 프로파일은 Graph G = (V, E)에서 pm = x̂_vm = f(G) vm으로 정의되며, f는 노드/에지 정보의 집계 함수를 나타낸다. 4가지 프로파일 구성 방식은 Flat, Text 기반 GNN, Embedding 기반 GNN, Trainable GNN으로 구분되며, 각 방식은 홉 수 K와 학습 구성 ℓ에 따라 다르게 업데이트된다. Text 기반 GNN은 각 홉마다 텍스트 프롬프트 템플릿 T(·)를 이용해 이웃의 텍스트 상태와 엣지 정보를 하나의 프롬프트로 구성하고, LLM으로 x^(k)_v를 업데이트한다. Embedding 기반 GNN은 이웃 임베딩을 가중 평균으로 결합하고, Trainable GNN은 Lnode/Ledge 손실을 평균 제곱오차로 최소화하는 self-supervised 학습으로 가중치를 학습한다. TrainGNN은 100 에폭, 학습률 1e-3, 마스킹 비율 0.3으로 학습되며, 테스트 시에는 2홉에서 최적의 성능을 보인다.

공개 신호의 불완전성 및 불일치한 평가 프로토콜, 벤치마크 커버리지의 편향 가능성, 신규 LLM의 도입에서 라우터 재학습 없이 진행하는 가정 등으로 인해 일반화 여지에 제약이 있다. 또한 본 연구는 대표적인 설계/라우터 구성을 다루며, 모든 가능한 조합이나 배포 시나리오를 포괄하지 않는다. hybrid cold-start 및 지속적 적응 전략의 탐구도 필요하다.