Bi-Level Routing Mixture-of-Experts를 통한 300개 이상의 작업으로의 지속적 학습 확장

기존의 지속적 학습 모델들이 20개 내외의 적은 작업 수에서만 검증되었던 한계를 극복하고, 300개 이상의 방대한 작업 시퀀스에서도 성능 저하 없이 학습할 수 있는 확장성을 증명했다. 이는 실제 환경처럼 끊임없이 새로운 정보가 유입되는 상황에서 AI가 지식을 누적하며 성장할 수 있는 발판을 마련했다.

지속적 학습의 고질적인 문제는 새로운 것을 배울 때 예전 것을 잊어버리는 '파괴적 망각'이다. CaRE는 이를 해결하기 위해 모델 내부에 여러 명의 '전문가(Expert)'를 두고, 입력된 데이터가 어떤 과거 지식과 관련 있는지 찾아내는 '라우팅' 개념을 도입했다.

첫 번째 단계에서는 '클래스 퍼셉트론'이 입력 데이터의 엔트로피를 계산하여 현재 데이터와 가장 유사한 과거 작업들을 식별한다. 이는 마치 도서관에서 책을 찾을 때 먼저 해당 분야의 서가를 찾는 것과 같다. 엔트로피가 낮을수록 해당 작업의 전문가가 이 데이터를 잘 처리할 확률이 높다는 원리를 이용한다.

두 번째 단계에서는 선택된 서가(라우터) 내에서 실제 계산을 수행할 세부 전문가들을 동적으로 호출하고 조합한다. 이 과정에서 모든 작업에 공통적으로 쓰이는 '공유 전문가'와 특정 작업에 특화된 '작업별 전문가'가 협력하여, 기존 지식을 재사용하면서도 새로운 클래스를 정확히 구분해내는 능력을 갖추게 된다.

CaRE는 사전 학습된 ViT(Vision Transformer)를 기반으로 하며, 각 레이어에 BR-MoE 모듈을 통합했다. BR-MoE는 클래스 퍼셉트론(Ct), 라우터 네트워크(Rt), 전문가(Et)의 세 가지 요소로 구성된다.

입력 특징 za가 들어오면 모든 클래스 퍼셉트론 Ct에 전달되어 Softmax(Ct(za))를 통해 확률 분포 st를 생성한다. 이후 각 분포의 엔트로피 Ht = -Σ st log(st)를 계산하여 불확실성이 가장 낮은 Top-M개의 라우터를 선택한다. 이는 [입력 특징 → 엔트로피 계산 → 최소값 선택 → 관련 작업 식별] 순으로 작동하여 데이터에 가장 적합한 지식 저장소를 찾아낸다.

선택된 라우터는 다시 내부의 전문가들 중 Top-K개를 활성화하는 게이팅 계수를 생성한다. 최종 출력 zo는 선택된 전문가들의 가중합 zr에 모든 작업을 아우르는 공유 전문가 E의 출력 E(za)를 더해 산출된다. 공유 전문가는 지수 이동 평균(EMA)을 통해 학습 과정에서 지식을 점진적으로 축적하며 모델의 전반적인 이해도를 높인다.

OmniBenchmark-1K를 활용한 301개 작업 시퀀스 실험에서 CaRE는 68.51%의 최종 정확도(AB)를 기록하며, 기존 SOTA 모델인 MOS(64.37%)와 MIN(59.63%)을 큰 차이로 앞질렀다. 특히 작업 수가 늘어날수록 성능이 급격히 하락하는 기존 방식들과 달리 완만한 성능 유지 곡선을 보여주었다.

Ablation study 결과, 동적 라우팅을 제거했을 때 정확도가 약 10%p 하락하여 2단계 라우팅의 중요성을 입증했다. 또한 전문가 수를 K=3으로 설정했을 때 가장 효율적인 지식 검색이 가능함을 확인했으며, 공유 전문가의 존재가 작업 간 지식 전이에 긍정적인 영향을 미침을 수치로 증명했다.

효율성 측면에서도 CaRE는 MOS 대비 학습 파라미터 수를 약 80% 줄이면서도 추론 지연 시간(Latency)을 95% 단축하여 실무 적용 가능성을 높였다.

CaRE의 핵심인 BR-MoE는 각 레이어마다 독립적인 의사결정을 내리는 Local Decision 구조를 취한다. 이는 레이어 깊이에 따라 특징의 추상화 수준이 다르다는 점에 착안한 것으로, 하위 레이어에서는 일반적인 형태 정보를, 상위 레이어에서는 구체적인 의미 정보를 바탕으로 라우팅을 수행한다.

학습 시에는 새로운 작업 t에 대해 (Ct, Rt, Et) 삼중항만 학습시키고 이전 작업의 파라미터는 동결하여 지식 전이를 방지한다. 클래스 퍼셉트론 Ct의 학습을 돕기 위해 최종 레이어의 Softmax 확률 pt를 모사하도록 하는 KL Divergence 손실 함수를 중간 레이어들에 추가하여 시맨틱 가이던스의 정확도를 높였다.

공유 전문가 E는 모멘텀 계수 μ를 이용한 EMA 업데이트 방식을 채택하여, 특정 작업에 편향되지 않고 전체 작업 시퀀스의 공통 분모를 학습하도록 설계되었다. 이는 모델이 새로운 작업을 배울 때(Plasticity) 기존 지식을 망각하지 않는(Stability) 균형을 잡는 데 결정적인 역할을 한다.

작업 수가 증가함에 따라 새로운 전문가 모듈을 계속 추가해야 하므로, 모델의 전체 파라미터 크기가 작업 수에 비례하여 선형적으로 증가하는 한계가 있다. 이는 무한한 작업 시퀀스를 처리해야 하는 환경에서 메모리 부담으로 작용할 수 있다.