Queryable LoRA: Shared Low-Rank Update Atoms 위의 Instruction-Regularized Routing

LoRA의 고정된 layer-local low-rank 업데이트는 입력별 보정이 달라지는 경우 한계를 보인다. 본 연구는 전역 memory of rank-space update atoms를 사용해 예시-의존적 라우팅으로 파라미터 효율성을 유지하면서도 깊이에 따라 다른 보정이 가능하도록 한다. 또한 language를 지시어로 활용해 semantically meaningful 업데이트를 유도하고, 업데이트의 노름을 제어해 안정성을 확보한다.

Baseline LoRA는 각 계층에 고정된 저랭크 어댑터를 적용한다. 이 고정성은 입력별 보정이 크게 달라지는 경우 비효율적이다. 본 방법은 globally shared memory에 rank-space update atom들을 저장하고, block 단위로 라우터가 예시-의존적으로 이 원자들을 선별해 조합한 Sb(c)를 LoRA bottleneck에 도입한다. 이 구성은 입력에 따라 업데이트를 다르게 구성하되, update 원자들은 convex hull에 속해 노름 제어를 유지한다. 또한 언어 지시를 pri로 사용해 Semantically meaningful 업데이트 방향으로 라우팅을 유도하되 파라미터 생성을 차단한다. 이 접근은 static LoRA와 텍스트-to-Weight 생성 사이의 중간 지점을 제공한다.

전체 프레임워크는 Frozen backbone fθ0 위에 LoRA 업데이트 ∆Wℓ(hℓ; c)를 적용하는 방식이다. 일반 LoRA 업데이트는 ∆Wℓ = αL/r Bℓ Aℓ로 표현되지만, 본 방식은 이를 ∆Wℓ(hℓ; c) = αr Bℓ (Ir + gℓ Sb(c)) Aℓ로 확장한다. Sb(c) = ∑m αb,m(c) Cm로 표현되는 공유 원자 메모리에서 top-k sparse 방식으로 선택된 원자들의 선형 조합이다. 게이트 gℓ = σ(ηℓ)로 업데이트 강도를 조절한다. 블록은 Bb로 나뉘며 각 블록에서 qb를 통해 외부 지시(c)와 깊이 요약을 반영한 pre-query를 구성하고, 앞 블록들의 s¯i를 기반으로 uatt−1를 형성한다. 지시어는 pm(c)로 정의되는 언어 pri로 라우팅 logits ζb,m(c)에 보정이 가해진다. 최종 Sb(c)는 상위 k개 값의 소프트맥스 합으로 구성된다. 핵심 수식은 다음과 같다: ∆Wℓ(hℓ; c) = αr Bℓ (Ir + gℓ Sb(c)) Aℓ, Sb(c) = ∑m αb,m(c) Cm, ˜ζb,m(c) = ζb,m + τlang log pm(c), Sb(c) = ∑m∈Ib α(top k) b,m cm. 학습은 블록 단위로 진행되며, 블록의 gradient는 ∑ℓ∈Bb gℓ rℓ s⊤ℓ로 분해된다. D.1-D.4의 가정에 기반한 안정성 및 Lipschitz 성질을 보장한다.

주요 벤치마크 및 수치 결과는 다음과 같다. Synthetic 2-D 비볼록 함수에서 Ours가 우수한 경우가 많으며, 예를 들어 Dropwave에서 LoRA 24.0509 ± 42.8973에 비해 0.2527 ± 0.1777를 보인다(Training Loss Table 1). Ackley에서 0.0559 ± 0.0159로 LoRA 0.0754 ± 0.0225보다 낮다. Sin-Cos, Langermann, Michalewicz 등에서 Ours의 성능이 우수하거나 비슷하다. Test Loss(Table 2)에서도 Dropwave에서 2.2263 ± 1.5457로 LoRA 64.5079 ± 57.4368보다 크게 개선된다. LLM Fine-Tuning에서 GENERAL 태스크에선 Instruction-Queryable LoRA가 LoRA보다 우수하며, 7개 태스크 중 6개에서 최상 또는 강한 성능을 보인다(예: GPQA-Diamond 0.323, MBPP 0.300, ARC 0.651, SuperGLUE 0.797, OpenBookQA 0.708, RACE 0.599, Hellaswag 0.623). MATHEMATICS 태스크에서도 GSM8K에서 0.656(LoRA 0.595), Numina-Math에서 0.344(LoRA 0.304) 등에서 개선. 벤치마크별 표는 아래와 같고, GPT-4o 수준의 대형 모델에서 1B 규모 이하의 모델에서도 유의미한 일반화 이득을 보여준다(Table 3, Table 4). 학습 매개변수 수는 4.456M로 LoRA 대비 약 1.3%의 오버헤드 수준이며, 전반적 추론 효율은 HyRA/DoRAN 등보다 우수한 편이다(Table 5). Ablation에서 지시어-상태 쿼리의 조합이 최적의 성능을 만들며, state-prior tradeoff가 잘 유지되는 것을 보인다(Table 8). Continual-routing 분석에서 태스크 간 atom 사용 분포는 희소하고 과도한 드리프트 없이 재사용 가능한 구조를 보인다(Figure 6-9).

아키텍처: Frozen backbone fθ0 위에 LoRA 업데이트를 대체하는 queryable operator Sb(c)를 도입. ∆Wℓ(hℓ; c) = αL/r Bℓ (Ir + gℓ Sb(c)) Aℓ. Sb(c) = ∑m αb,m(c) Cm, αb,m(c)은 block 내 활성 atom 집합 I에서 소프트맥스 기반으로 결정. gℓ = σ(ηℓ). Block은 Bb로 구성되며, 각 블록의 qb를 통해 지시어(c) 및 깊이 요약uatt−1를 반영한다. 지시어는 pm(c) ∝ exp(ρm(c))로 정의되는 language prior를 통해 ζb,m(c)에 보정되며, 최종 Sb(c)는 Top-k 소프트맥스로 선택된 원자들의 convex 합으로 구성된다. 학습의 이론적 기초로 Theorem 5.1(Instruction-regularized retrieval의 변분적CHAR) 및 Theorem 5.2(노름 제어된 동적 업데이트) 등이 제시되고, Corollary 5.1.1은 state-prior tradeoff을 보장한다. Attention-Style Depth Summary(uatt−1) 및 Sb(c)의 block-재사용은 gradient를 분해하는 Exact blockwise gradient factorization(제6절~D.16)으로 뒷받침된다. 실험 설정은 Synthetic 2D 비볼록 함수, 다수의 LLM 벤치마크(GPQA-Diamond, MBPP, ARC, SuperGLUE, OpenBookQA, RACE, Hellaswag, GSM8K, MATH, Orca-Math, NuminaMath-CoT, GPQA-Diamond 등)에서 수행되었다. 알고리즘 1/2는 각각 Block 단위 및 Global queryable memory 구현을 상세화한다.

본 라우팅 기반 업데이트는 단일 스펙에서의 오버헤드를 증가시킨다. 블록 단위 라우팅은 static LoRA 대비 전방향 연산 비용이 증가할 수 있으며, 태스크 간 성능 차이가 일정하지 않다. 특정 태스크에서 이득이 작을 수 있으며, 대규모 텍스트-생성 모델에서의 확장성 및 안전성 이슈에 대한 추가 연구가 필요하다.